我抓不到你，死鬼、猛子也抓不到你吗？！大家一起抓呀！

Question

再给一百分。一个抓网页的问题。用WSockExpert可以找到那个页面。抓了一个星期了，就是抓不着。详情。
http://community.csdn.net/Expert/topic/4233/4233951.xml?temp=.5125238顶者有分，我会把一百分加在那个页面。

Answer 1

问题应该是，你没有正确返回从服务器传回来的cookie或者没有正确设置其他header(譬如User-Agent)象类似的东西，你不能指望别人去专门开设个账号，然后给你测试的

Answer 2

哈哈.老大终于露面了.多谢多谢.
问题是我有帐号啊,可以登录并找到那个页面的地址:形如http://www.mysite.com/getdata.php?uid=234223424&type=1&mtype=0&delay=
不过,网页禁用了另存为,用离线阅读工具也下载不到这个页面,但可以用Sniffer找到.它的header内容如下:
d

HTTP/1.1 200 OK
Date: Sun, 28 Aug 2005 12:34:19 GMT
Server: Apache/2.0.46 (Red Hat)
Accept-Ranges: bytes
Expires: Mon, 26 Jul 1997 05:00:00 GMT
Last-Modified: Sun, 28 Aug 2005 12:34:19 GMT
user-agent:mozilla/4.0(compatible;msie6.0;windows NT5.1;SV1;.NET CLR1.1.4322)Cache-Control: no-cache, must-revalidate
Pragma: no-cache
Connection: close
Transfer-Encoding: chunked
Content-Type: text/html有关Cookie的问题,我试过其它大侠给我的方法.好象也不行的,也看了您在网上回答相关问题的帖子,但仍然无计可施,老大出面了,心里有点试了,呵呵.再试试是不是我用法不对.另处再请教一下,上面header内容对下载页面哪些有影响呢?

Answer 3

主要是常用的header，譬如user-agent，有时网站为避免搜寻引擎或其他自动工具，会检查这个header建议这么做:下载他们的登陆页，把cookie记住，用httpwebrequest 把数据POST回去，检查返回网页内容，确认登陆成功，记住返回cookie，再去访问你需要访问的网页，同时把cookie传回