网页抓取技术

Question

如何模拟含有验证码的网页自动登录，然后在某个页面发出请求信息抓取返回信息

Answer 1

http://topic.csdn.net/u/20100604/18/fadb1e99-e010-4aad-9e4f-bf5f0f745ee1.html

Answer 2

httprequest httprepose  两个类足够了.

Answer 3

验证码一般很难解析出来
你可以用vsniffer之类的工具拦截看看

Answer 4

  自己输验证码吧，然后用 httprequest httprepose这个类，就行了                     鄙视下万恶的验证码！！！

Answer 5

输用户名，密码之类的可以由程序来实现，至于验证码要看验证码的字符图片的扭曲，变形，杂点等情况了，字符较工整的清晰的，一般用OCR图片文字识别程序来完成验证码由图片转化成文字，程序不能识别的情况只能手工输入了

Answer 6

除了验证码难搞，填写数据和提交表单，都可以用webbrowser控件搞定。验证码也要看多复杂，如果没有扭曲，噪点少，还可以搞一下，否则只有靠人眼识别，我查了好久这方面的资料，除了采用多取样来作比较识别以外，没有其它更好的方法，这方法也不是适合所有的验证码。总之一句话，搞稍复杂点的验证码在现在看来基本是不可能的。

Answer 7

图片验证码难解决，那么放在框架中的html隐藏控件值作为验证码，该怎么解决啊

Answer 8

OCR技术就是前面几位说的图像识别技术, 现在应用比较广的应该是高速公路的车牌识别

Answer 9

图片验证码难解决，那么放在框架中的html隐藏控件值作为验证码，该怎么解决啊
有没有具体的实现思路或者代码

Answer 10

csdn获取验证码的部分代码//点击获取验证码图片
string aspcookie = "";
private string html = "";
private void button3_Click(object sender, EventArgs e)
        {
            
           html=Http.GetHtml("http://passport.csdn.net/UserLogin.aspx",out aspcookie);//获得Cookie中的SessionID
            aspcookie = aspcookie.Split(';')[0];//这句话可用可不用
            richTextBox1.AppendText("获得的Cookie：" + aspcookie + "\r\n");
            string header = "";
            byte[] b = { };
            Image img = new Bitmap(
            Http.GetStreamByBytes("http://passport.csdn.net", "http://passport.csdn.net/ShowExPwd.aspx", b,
                                  aspcookie, out header));//获得验证码图片
            this.pictureBox1.Image = img;
        }//http类当中public static string GetHtml(string URL, out string cookie)
        {
            WebRequest wrt;
            wrt = WebRequest.Create(URL);
            wrt.Credentials = CredentialCache.DefaultCredentials;
            WebResponse wrp;            wrp = wrt.GetResponse();            string html = new StreamReader(wrp.GetResponseStream(), Encoding.UTF8).ReadToEnd();
            cookie = wrp.Headers.Get("Set-Cookie");
            return html;
        } public static Stream GetStreamByBytes(string server, string URL, byte[] byteRequest, string cookie,
                                              out string header)
        {
            Stream stream = new MemoryStream(GetHtmlByBytes(server, URL, byteRequest, cookie, out header));
            return stream;
        }

Answer 11

要想获得验证码关键在于获取其cookie信息，可利用工具查看