有没熟悉seo的？帮下忙

由于网站的服务器曾拒绝我们index有关网页，而我们以人手进行抓取时又出现了Redirect
Loop的问题，所以我们仍然无法让这两个网站更新在搜寻记录中。
请检查有关的服务器防火墙是否禁止了crawler的访问，又或者是否在robot中设定了禁止搜寻器存取的指令。
我们亦已把有关个案转交美国有关技术部门方面跟进。(yahoo)
这是yahoo 给的回答，这是什么原因造成的呢？有没高人？谢谢