高分求教！想处理一个100MB以上的日志文本，分n个线程去分n段读取每行数据分析处理后插入数据库，如何做最快性能最高？

Question

用fopen(file, "rb")，然后可以用fseek/fread之类的，呵呵，效率应该很高的

Answer 1

事实上，如果你是单cpu的话，开不开线程实在没有差别，如果说有差别的话，开一个工作线程会让你的程序界面在分析处理数据的时候不至于停滞而已，这样一来，效率反而会降低！建议用单线程·！！！！！

Answer 2

多进程应该可以抢占更多的CPU时间吧，因为系统对个进程是轮循地处理的，如果系统本来就比较繁忙，一个进程系统可能分配10%的处理能力，但两个进程系统可能会各分配8%的处理能力，这样整体上的处理效率是提高的，举个例子而已，不对之处敬请指正。

Answer 3

  使用存储映射文件吧，　word就是这样实现的。

Answer 4

建议2：
不要一条记录一条记录的读数据，而应该一起读入内存，例如64M数据，然后在内存中进行处理，我处理过大于4G的数据文件（TAR格式），每次读入一个字节花费了一个晚上，每次读入100M，十几分钟就完成了
所以，对于大数据文件，应该尽量减少读盘的次数，和寻道的次数
原则：
一次处理很多数据，
不要使用多线程