做WEB引擎蜘蛛，大家来探讨下请高手指点！

最近做搜索引擎，蜘蛛是别的公司开发的而且要RBM，考虑搜索引擎的发展趋势想自己开发一个蜘蛛。搜索引擎实现大致由三本分组成：引擎服务器；引擎蜘蛛和WEB索引程序。其中使用蜘蛛自动采集WEB页是关键。
大家谁做过类似的东东没有呢，有什么好的建议意见？或推荐关于这方面（WEB）C#的书？另外有关点对点通讯的C#的书有好的也推荐本。大家元旦过的还算快乐吧，马上又要到春节了，Happy New Year!