啥是机器人！

Question

本帖最后由 discuz2015 于 2014-11-27 15:29:48 编辑

Answer 1

Bot-微软的bing
Spider-百度
slurp-雅虎
其他几个不知道，不过这也只能防止正常的抓取，人家伪造了也不一定能防止

Answer 2

流氓要抓也没办法，不过一般的搜索引擎都遵循robots协议

Answer 3

$kw_spiders = 'Bot|Crawl|Spider|slurp|sohu-search|lycos|robozilla';是啥意思呢

Answer 4

Bot|Crawl|Spider|slurp|sohu-search|lycos|robozilla
是正则要匹配的模式
Bot，Spider...都是蜘蛛的标识，一般的搜索引擎都会写