市局要从下属12个区县的中心数据库取数据。
每天需要提取的数据大概有150W条左右。
这里有两个问题，我不太知道该怎么解决。
1.这150W条数据，需要插入到数据库中，并且在插入的过程中，需要做分析，对重复的数据，需要更新。我们这种做数据一致性的工作，是否合理？别人都是怎么做的？
2.150W条数据，甚至更多。压缩后大概还有40多MB。这么多的数据，用WebService传输的话，效率超级低，并且不能防断流。有没有更好的方式啊？
每天需要提取的数据大概有150W条左右。
这里有两个问题，我不太知道该怎么解决。
1.这150W条数据，需要插入到数据库中，并且在插入的过程中，需要做分析，对重复的数据，需要更新。我们这种做数据一致性的工作，是否合理？别人都是怎么做的？
2.150W条数据，甚至更多。压缩后大概还有40多MB。这么多的数据，用WebService传输的话，效率超级低，并且不能防断流。有没有更好的方式啊？
每天需要提取的数据大概有150W条左右。
这里有两个问题，我不太知道该怎么解决。
1.这150W条数据，需要插入到数据库中，并且在插入的过程中，需要做分析，对重复的数据，需要更新。我们这种做数据一致性的工作，是否合理？别人都是怎么做的？
2.150W条数据，甚至更多。压缩后大概还有40多MB。这么多的数据，用WebService传输的话，效率超级低，并且不能防断流。有没有更好的方式啊？
---------------------
40多M,不多,传输应该没问题.
将数据在本地解压,利用开发语言编写代码判断数据的合法性和需要插入的可能性.