分布式采集:
因为每天都要去淘宝采集一些数据,多线程的http请求,每天都会对同一商铺请求一下宝贝的请况,
随着商铺不断增加,现在出现两个问题。
第一个:商铺增加,采集量就增大,每天都采不完。
第二个:我用的sql server,采完就就提到数据库中(存储过程),现在数据库有些吃力了(因为是多个程序运行,都是多线程)
各位大侠有什么好的建议么?谢谢
我希望是能在当天采完,希望数据库的压力问题能改进。