我有一个爬虫程序,它每天会定点的爬一些url,然后把处理后的数据插入数据库,在插入之前,如果发现数据有更新,那么它会做一些其他的处理,由于这个处理时间可能会很长,我想把它单独拿出来,写成一个webservice,然后爬虫能够异步的调用它。
     可我发现,就算做成webservice,服务方法的调用其实也是同步的,我本来是想让爬虫程序发送要处理的数据后,不需要等待服务方法返回,继续执行后面的抓取任务。请问大神们,有什么好的策略没,并且webservice是必须的吗webservice爬虫异步

解决方案 »

  1.   

    用什么webservice,发现数据有更新就new新的线程去处理就行了
      

  2.   

    我也这样想的,可是老师要求这么做啊,爬虫这一块是另外的人在写,还没写完,所以老师让我单独做这一块。。能不能这样实现,就是爬虫调用web服务方法传递数据后立即返回,我再开一个线程去处理这些数据。但是从没写过的我真不知道怎么写,有没有简单的例子可供参考
      

  3.   

    我也这样想的,可是老师要求这么做啊,爬虫这一块是另外的人在写,还没写完,所以老师让我单独做这一块。。能不能这样实现,就是爬虫调用web服务方法传递数据后立即返回,我再开一个线程去处理这些数据。但是从没写过的我真不知道怎么写,有没有简单的例子可供参考晕,new Thread().start();
    去重写run方法就行了