从mysql中读取数据（90万条记录），并写入文件中，如何提高效率，望高手指教

Question

你是想自己写代码解决？
还是用工具？MySQL-Front可以导出某个数据表到sql文件

Answer 1

线程估计不行吧，一样占有很多资源。我想应该自己写一个很灵活的程序，一次按照某种规律导多少条的。也是想法：）关注ing……

Answer 2

1. jdbc 有每次 fetch size 的设置
2. 写文件要用带缓冲的 writer, 性能会提高。
3. 每次取多少，需要反复调试比较。

Answer 3

Mysql中有一个limit条件，你一次可以只取1000条，写到文件中，然后再读，再写。

Answer 4

我的是mysql数据库，好像不支持fetch size 吧
我想还是从write上再想想办法
我现在就是limit 5000来取数据的

Answer 5

就是呀，mysql目前不支持fetch size ，
用limit 5000吧

Answer 6

多谢jacklondon(jacklondon) 的提醒，问题解决了
问题主要就出在一次取5000条记录，这样要频繁取数据，导致mysql性能迅速下降经过反复测试，我现在改为一次取85000条记录，只用查询11次mysql就能取出所有数据,这样速度最快，这个值设得太大或太小速度都不行。
这样程序运行179秒，写出的文件将近40mb我用jdk1.42, mysql 4.1.10再次感谢各位网友的帮忙，揭帖！