请教Java处理大批量的数据（大约200G左右数据）

Question

现在要把一个数据库的一个表的数据大约在200G左右的数据量的数据读出来，并且做处理，怎么做分批处理了，如果我在处理数据的时候，程序崩了，在重启的时候保证不读重复的数据，这个要怎么弄。求教大神。

Answer 1

可以表上加一个标记，处理过的写 1 ，没处理过的写 0 ；PS：200G 的数据，建议用存储过程处理，用前台程序，还是有点不爽的；

Answer 2

@ghx287524027 已经是分表的数据了，月表比较大

Answer 3

@卖水果的net  现在不是只有这张表的，这个只是其中的一张月表的，关键这种表是程序生成的一张结果表，不好改的。我现在的想法是能不能每次读一点文件，然后写到文件里面去，循环读写，这样每次jvm可以回收以前读取的缓存。不过就怕效率跟不上。