多线程问题

Question

现在有问题如下:
1.需要读取文件,然后取值 与数据比对查找值,  返回数据再写入到一个文件
2.单线程执行太慢.大概要7小时
求助如下:
1.多线程处理,读取同一个文件.   执行sql 查询.    在写入同一个文件.   
2.时间主要耗时在执行sql 上了.   
多线程不太会写.

Answer 1

先确定性能瓶颈在哪
目测是查询数据库过多,可以考虑批量查询,比如以前用id,现在用in,减少数据库连接次数,如果是多个字段匹配直接拼or条件
文件要确定是大文件还是大量小文件,前者如果用多线程的话,可以参考
https://blog.csdn.net/u014653197/article/details/78136568
后者就直接多线程直接读取即可

Answer 2

读取文件并计算再生成文件,这个你了解一上hadoop就明白了,大数据分布计算.