如何通过编程实现拦截网络蜘蛛

Question

各位大虾如题，网络蜘蛛既然能够抓取网站的信息，那么有没有一种方法，通过编程来拦截它的抓取呢？
我知道有一种是通过robots和META标签的设置来完成，但是我觉得太被动了，这种方法只是被动告诉别人不要“抓取”网站
能不能主动的拦截呢？？

Answer 1

获取其Script_Name，
网上有蜘蛛的名称列表，可以在之前就禁止其访问
不过这个列表也要去维护，效果也不一定有robots好，所以如果没有特殊需要，还是直接设置robots.txt最好

Answer 2

robots.txt挺好的呀，方便，易维护

Answer 3

它是有它的好拉，但就是感觉有点受别人限制的感觉，比如windows与linux系统之间的差别！