新手提问!
本人刚开始做爬虫程序,有一个问题一直难以实现,比如本次我爬取了一些数据,然后我终止了,当我在下次再次开启该程序的时候如何让他接着上次的地方继续爬取,而不用再次重新开始爬取。
本人刚开始做爬虫程序,有一个问题一直难以实现,比如本次我爬取了一些数据,然后我终止了,当我在下次再次开启该程序的时候如何让他接着上次的地方继续爬取,而不用再次重新开始爬取。
解决方案 »
- 单元测试,如何打桩?
- ADO记录集rst如何赋给组合框cbo1的DataSource?我的这一句错在哪里:cbo1.DataSource = rst;
- 难题:打包程序自动安装Windows服务
- 请教:如何将Excel文档显示在一个Panel上
- 关于 DataGridView的问题
- javascript怎么清空原来的数组在重新赋值??(数组的长度不一定)
- 反射获取对象^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
- 绘制一个bmp怎么设置水平、垂直分辨率、深度、大小
- webservice中能否调用COM组件
- 新手请教一个自己定制符合控件,请高手帮忙
- DesignMode无效???
- 怎么使画出来的照片居中?
比如说某个网站中首页 是一个分类 比如有:A,B,C三个类
那么在A类这个页面里面还有a1,a2,a3 在B类这个页面里面还有b1,b2,b3 …………………………a1页面里还有a11,a22,a33 ……………………依次类推
我们获取的时候就是层层获取,获取一层就将该层的内容保存到一个表中,如: public void saveFirst()
{
//获取到了A这个页面的URL,然后进入下一层
saveSecond();
}public void saveSecond()
{
//获取到了a1这个页面的URL,再进入下一层
saveThird();
}public void saveThird()
{
//获取该页面的详细信息
}
如果在这个中间的哪个地方我们关闭程序了,上面那几个方法之间通过循环的,那么中断后怎么接着上次的继续了。