用C#写了一个类似网络爬虫的程序,可是对于一般的网站,它能正常工作,但对某个网站总是接收不到数据(已经连接上),我查了一下MSDN,看了Receive的说明,说是如果是超时或服务器端关闭连接,会引发SocketException,可是我程序中没有出现异常,所以在此向各位请教如何解决这个问题。
注:我用IE等浏览器可以上那个网站。有人说是某些服务器端会检查浏览器,对于不确定的客户端类型时发送空字节,感觉怪像的,那如果是这样我应该在发送请求时如果更改呢?