关于搜索引擎开发：怎么用c#构建一个高效的蜘蛛程序？以及怎么设计相应的搜索引擎的数据库？？

Question

如题，最近想用c#进行搜索引擎的开发，怎么样构建一个高效的蜘蛛程序和数据库是关键……
请教各位大侠，给思路和代码都行，分不够在加！！！

Answer 1

可以参考这几个文档 :
设计思想：1、http://tieba.baidu.com/f?kz=76995609
参考源代码下载： http://www.codepub.com/software/view-software-11155.html

Answer 2

C#本身的速度不会快，用C++就会很快，目前google等搜索引擎不是C#开发的。

Answer 3

写网络蜘蛛实现搜索，实现url解析
http://www.cnblogs.com/wbbady/archive/2008/02/18/812006.html

Answer 4

http://blog.sina.com.cn/s/blog_5d8857540100c84i.html

Answer 5

c#有没有像dom的东西，用来分析抓取到html页面内容？？

Answer 6

有啊.
but,你这样会更慢,还不如直接分析返回的txt文本.

Answer 7

是把抓取到的html当成txt文本来分析还是加载成dom在提取所需内容，这两种方法那个效率高还真没有做过测试？？不过这还得看自己写的分析方法怎么样了，合理不合理了！谁能提供个好的分析html的方法？？

Answer 8

记得好像有lucene .net,lz看看吧!

Answer 9

现在你就是搞个搜索引擎也不可能打败google或百度

Answer 10

对搜索引擎不懂,但如果分析网页想依靠正则或是 DOM 之类的,估计人家的蜘蛛抓了上万个网页,你的才抓了几百个.