阅读大容量txt文件并写入txt文件中

Question

多线程txt阅读

Answer 1

就算文件写入txt，你可以打开文件？可以将txt写入内存或者数据库。

Answer 2

不知道有什么大用处。txt写到txt？直接上传txt文件不更好？

Answer 3

要读的txt文件是有tag的eg：11 |1111111111111
                                                   22|22222222222
                                                   33|33333333333
根据tag 将tag的值获取并分类

Answer 4

1、你发错地方了！CSDN 辟有专门的 Java 讨论区，Java 高手都在那边
2、如果你的文件需要反复使用的话，那么应先构造一个索引文件，这样就可快速移动文件指针了
你期望的多线程就更少不了这个索引了
3、如果你的文件只是单次使用，那么应导入到数据库（数据库都提供有导入文本文件的功能，秒杀）然后再处理

Answer 5

5.你的这个代码有好几个性能问题..
1.提升文件io性能
要把BufferedWriter 的建立and 流的关闭放在循环外面哟..这样添加200w数据只需要7秒....否则大概要2小时了
 BufferedWriter wr= new BufferedWriter(new FileWriter(new File("c:\\200w.txt"),true));
 
 // 关闭流
 for (Entry<String, StringBuffer> entry : map.entrySet())
 {
   
 StringBuffer  sb=entry.getValue();
 wr.write( sb.toString()+ "\r\n");

 }
 wr.close();
2.提升map性能,设置初始化值
new HashMap<String, StringBuffer>(2000000);在我的机器上,添加200w大概需要9秒..要是不设置初始化值,大概要15秒左右..
此外,200w 的map大概要使用内存500M 左右了..3.循环读取文件的问题
while ((str = br.readLine())
str.split("\\|")[1] 这样str.split 是使用正则表达式的,也是性能慢的...