我想做个蜘蛛，如何获取成千上万的域名列表

Question

如题，做个搜索爬虫，可是我到哪里去获得成千上万的域名列表呢，总不能我自己一个一个手工去找吧

Answer 1

刚才有人说起复制DNS缓存，可是本机的只有访问过的网址才有缓存啊，那如何才能获取到ISP的dns缓存呢
又有人说没必要知道域名列表，从一个大型网站喀什爬行就可以了～～貌似效率太低了吧，

Answer 2

找几个大站开始爬就可以了，例如sina,yahoo,AOL,MSN什么的

Answer 3

在顶一下，看有没有高人知道，我觉得复制DNS缓存是个办法，百度了一下，linux下有这种软件，不知道windows下有没有这种软件，或者如何用c#来实现一个这种软件

Answer 4

从一个或多个Url开始，把里面出现的域名动态加到你的库里不就可以了

Answer 5

那打个比喻，我们做站的时候，有时候建立了2级域名，还没有给他做链接，百度、yahoo、google就已经把这个网址收录了，那他从哪里来的

Answer 6

呵呵..蜘蛛就是要会爬,,从HAO123开始爬,.条条大道通罗马

Answer 7

我也在研究中，有兴趣的朋友 到我blog联系我 
http://www.11zhuce.com