百万数据如何高效率导入数据库

Question

公司有这么个需求，有一些TXT文本文件，每个文件里至少有100万行以上的数据（50M以上）。要求用JAVA写一个程序把TXT里的数据读取出来插入到数据库中的表中去。设计成B/S结构。要求性能足够的高。请大家给个建议。

Answer 1

此回复为自动发出,仅用于显示而已，并无任何其他特殊作用
楼主【dlq_skj】截止到2008-07-09 19:16:59的历史汇总数据(不包括此帖)：
发帖的总数量:1                        发帖的总分数:20                       每贴平均分数:20                       
回帖的总数量:0                        得分贴总数量:0                        回帖的得分率:0%                       
结贴的总数量:0                        结贴的总分数:0                        
无满意结贴数:0                        无满意结贴分:0                        
未结的帖子数:1                        未结的总分数:20                       
结贴的百分比:0.00  %               结分的百分比:0.00  %                  
无满意结贴率:---------------------无满意结分率:---------------------
如何结贴请参考这里：http://topic.csdn.net/u/20080501/09/ef7ba1b3-6466-49f6-9d92-36fe6d471dd1.html

Answer 2

你要导入到什么类型数据库中?
批处理是不错的方法
给你个关于MYSQL的  例子:
导入 txt 文件　　方法: mysql test < /backup/yejr.txt

Answer 3

很多数据库工具，都有将ＴＸＴ文件直接导入数据的功能．直接用，就是了．ＢＳ网站，如果小型的，不要经常维护的，直接用 jsp+java bean 就可以了．
如果中大型的，建议采用 struts2+spring+hibernate ，前期开发周期可能会长点，但易升级，拓展．维护方便！

Answer 4

你说的这种方法我当初考虑过。但性能很差！
半天没反应，最后甚至直接当机！数据库是ORACLE9I
有没有做过这方面的高手。海量数据处理。

Answer 5

百万级还达不到海量级别，现在有很多工具都能做这种事情！
Oracle有个外部表的机制，可以和方便的将你的文本数据倒进去的

Answer 6

用java做没试过。不过我朋友用C++写了个。。效果不错

Answer 7

100万行的数据只有50M？得有500M吧，我们公司有个SB客户就导出为txt文件，我们没法处理，要他重做。
你不会也遇到了这么XX的客户吧，能协调就协调，不能协调就自己想办法。

Answer 8

oracle的话直接用他自带的sqlloader