海量数据处理

Question

合作公司提供数据库接口为ExecDt 执行后返回一个500万行数据的数据集（数据集每天都会有更新），大家发表一下高见，看看如何把这些数据每天定时采集到另一个数据库中。

Answer 1

我靠，那么大，这个数据接口本身就不好。叫他们提供分页下载的。方法，那么大数据量就不用webservices了，就是算要找好的压缩方案

Answer 2

@zetee
呵呵，的确不容易处理，我采用的解决方案是，分段读取，然后将每段数据单独用一线程采集

Answer 3

我做过的是开N个线程分页下载webservices的项目，不过数据库也就那么15000左右，也不难做。就是提供分页的方法就好了。
1，分页方法
2. 总记录数的方法 就可以了。你可以把pagesize=300