最近在做一个小项目,需要抓取不同的网页源代码然后进行处理。由于每次抓取的页面数可能不同,所以我打算用多线程来做。即每个页面用一个线程来抓取然后进行处理。
但是不知道如何下手。听说用线程池效率比较高,而且方便。但是我如何保证每个线程之在一个页面上工作呢?
比如我要同时抓取1.aspx 2.aspx 3.aspx 三个页面的内容,而且分别要取出不同的内容。
我改怎么写呢?
谢谢高手们指点。最好能有个简单的例子和说明。谢谢大家
分数不多。但希望大家能帮忙。
但是不知道如何下手。听说用线程池效率比较高,而且方便。但是我如何保证每个线程之在一个页面上工作呢?
比如我要同时抓取1.aspx 2.aspx 3.aspx 三个页面的内容,而且分别要取出不同的内容。
我改怎么写呢?
谢谢高手们指点。最好能有个简单的例子和说明。谢谢大家
分数不多。但希望大家能帮忙。
解决方案 »
- C#操作摄像头、AForge资料
- winform 安装包问题,升级安装不更新文件。
- 整合多个模块功能做一个业务流程控制导航页,给想个思路
- winform DataGrid中根据判断条件修改某行背景色
- 大家帮忙看看这个事务该怎么写啊?
- c#在winForm编程中 如何用方法去让 某个 文本框空间 失去焦点
- 求高手啊~~~~~谢谢~
- 求助,向各位大哥请教几个问题,谢谢!
- 本次操作由于这台计算机的限制而被取消
- 如何从一个windows的application 里面判断某个web page是否打开
- .net服务器配置问题,aspx页面访问不了,asp和html都可以访问
- 新手问问题datagridview问题
'开启线程调用实例的功能
next
如果要自己写大概步骤就是
做一个队列之类的东西用来保存网页的地址,然后做个管理类,主要管理线程,最后做个worker类,具体处理每一个网页
程序运行后用管理类启动并控制线程,那个网页队列记得Lock了