用java做数据导入 b/s结构,一次400万条数据.想做成多线程,大家有什么好的想法吗?

Question

有什么好的开发想法?
如题.
谢谢了.

Answer 1

这么大的数据量，
最好能找底层直接支持的，
如导入csv文件类似的，应该比java快

Answer 2

400万数据导入是一次性的还是周期性的？如果是周期性的频率是多少？
如果是一次性的，做成数据库的.sql文件导入算了，这个400w的压力太大了。
如果是周期性的，
1.如果导入的时候不需要在做数据校验。建议B/S只负责吧数据文件从B传到S，数据导入操作在S端写个Shell脚本，使用java来执行这个脚本导入数据。
2.如果导入的时候需要数据校验，那只能用java多线程了。将导入操作包括校验做成独立的线程，再由另一个独立的线程装载线程池和负责从数据文件中读取数据，由此线程来分发插入数据到各个导入操作线程。
B/S只负责吧数据文件从B传到S，上传完之后启动装载线程池和数据读取的线程，由这个线程生成导入操作线程。

Answer 3

将数据作为文件上传，上传以后使用sql脚本作批量导入。如果400万数据都用java来处理，呵呵，大家可以尝试一下，声明一个List，然后添加400万个对象，看看用多久，别说处理了。批量导入我只熟悉sqlserver2000的。比如bulk insert，或者bcp实用工具。而且我的确做过这种类似的项目，这个思路还是比较可行的。

Answer 4

WEB不可能的，太大了。
就算每条数据只有一个字段也不得了！
还是做成底层的好了。

Answer 5

页面中嵌入 applet 吗？
嵌个 applet 做多线程上传，S端接手后用线程入库或者用脚本入库都好说。我觉得你在B的数据怎么弄到S那么是很关键的。