robots里屏蔽百度和GG以外的蜘蛛？

Question

robots里屏蔽百度和GG以外的蜘蛛？有个未知的蜘蛛，一个月要爬走6G流量，太恐怖了想屏蔽掉，怎么写？

Answer 1

robots里能区分？我用的是虚拟主机哦

Answer 2

下面仅仅允许google，你增加一个百度的好了User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /

Answer 3

据说这个效果不大，还是用代码屏蔽蜘蛛关键字的方法最好##阻止搜索引擎：Google，百度，雅虎，搜狗，（robot貌似“蜘蛛”的关键字，不知道是不是）
if(preg_match("/(google|baidu|yahoo|sogou|robot)/i", $_SERVER['HTTP_USER_AGENT']))
{
header('HTTP/1.1 403 Forbidden');
exit; 
}

Answer 4

User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /