asp.net 500

Question

我的网站能正常打开，但是站长工具爬不到，百度谷歌也爬不到，我自己写了个爬虫 
 myRes = (HttpWebResponse)myReq.GetResponse();
这时候 报500，说我也没有错误，但是我能正常打开，求助啊，100分

Answer 1

myHttpWebRequest.ContentType = "text/html"; 这句你代码中有吗？

Answer 2

IIS需要设置爬虫
从一个网页入口，分析链接，一层一层的遍历，或者从一组网页入口，或者从一个rss源列表开始爬rss；  
获取每个页面的源码保存在磁盘或者数据库里；  
遍历抓下来的网页进行处理，比如提取正文，消重等；  
根据用途把处理后的文本进行索引、分类、聚类等操作
参考
爬虫