Baiduspider
你用 strstr 是匹配不到的

解决方案 »

  1.   

    我已经转换成小写了,而且我直接匹配的是baidu,因为我从来没看到 Baiduspider被记录下来
      

  2.   


    看我这图片,就是检测不到百度的蜘蛛,PHP部分应该是没问题的,我转换成小写,直接匹配baidu,而且新发布的内容百度都会及时收录,就是JS检测不到百度的蜘蛛,谷歌的可以,好像我们在PHP中直接用file_get_contents另一个页面,那个页面中的JS也不会被执行到的,我试过直接用浏览器访问A页面,A页面中的<script language="javascript" src="spider.php"></script>会提交到spider.php,而用file_get_contents来获取A页面的内容,则里面的脚本不会提交。
      

  3.   

    搜索引擎的蜘蛛访问网站是通过远程抓取页面来进行的,我们不能使用JS代码来取得蜘蛛的Agent信息,但是我们可以通过image标签,这样我们就可以得到蜘蛛的agent资料了,通过对agent资料的分析,就可以确定蜘蛛的种类这是我在网上找到的,还有个想小问题,如何不用GD生存一个空白图片,并不让蜘蛛索引呢?