robots里屏蔽百度和GG以外的蜘蛛? robots里屏蔽百度和GG以外的蜘蛛?有个未知的蜘蛛,一个月要爬走6G流量,太恐怖了想屏蔽掉,怎么写? 解决方案 » 免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货 robots里能区分?我用的是虚拟主机哦 下面仅仅允许google,你增加一个百度的好了User-agent: GooglebotDisallow:User-agent: *Disallow: / 据说这个效果不大,还是用代码屏蔽蜘蛛关键字的方法最好##阻止搜索引擎:Google,百度,雅虎,搜狗,(robot貌似“蜘蛛”的关键字,不知道是不是)if(preg_match("/(google|baidu|yahoo|sogou|robot)/i", $_SERVER['HTTP_USER_AGENT'])){ header('HTTP/1.1 403 Forbidden'); exit; } User-agent: GooglebotDisallow:User-agent: *Disallow: / PHP解析XML转成数组 在线等 php连接mysql,偶尔会出现Can't connect to MySQL server 谁能写个IPV4的循环 要精简 求一个正则匹配~ 缓存有哪些方式? 如何知道文件的编码格式?是gb2312还是 utf-8还是..... PHP smarty 是如何实现模板嵌套的? kodak6340支持jpeg2000吗 数据库的问题 array_filter()的回调函数,PHP的奇技淫巧。 js 转换行 在线急等 求一个功能的实现
robots里能区分?我用的是虚拟主机哦
Disallow:
User-agent: *
Disallow: /
if(preg_match("/(google|baidu|yahoo|sogou|robot)/i", $_SERVER['HTTP_USER_AGENT']))
{
header('HTTP/1.1 403 Forbidden');
exit;
}
Disallow:
User-agent: *
Disallow: /