如何短时间对大量的原始采集数据处理并存库？敬听各位指教！

不断的有大量原始采集数据传来存于文本文件中，需要尽可能短的时间内读取这些文件读出原始数据，分门别类的处理后存入数据库中，这些数据可能也要分门别类的按月生成不同的表存放，有什么方法可提高处理效率来应付不断传来的大量原始采集数据？敬请各位帮忙，小弟先谢过了。

解决方案 »

  1.   

    主要要完成功能：
       1.读文件（文件中数据是许多数据合在一起的数据块，因数据表中是按每个采集点建字段的需按长度分开读出存取，即数据表字段有288个,而在文件中这288点数据是一个长字符串）　
       2.生成Insert SQL语句存数据入库(数据要按月分表存放，不同数据类，存放结构不同)如果这样设计多线程：
    　监视任务并调度任务线程 TTaskThread
      　  读文件到内存子线程 TReadThread
    　    生成SQL语句子线程　TSQLthread
    　    执行SQL语句子线程  TExceSQLthread
    　文件中存的是数据块，需要循环按数据实际长度度取数据，在循环中调用TSQLthread和TExceSQLthread　控制这些线程好烦，敬请各位提出一点合理建议
      

  2.   

    只要TReadThread/TSQLThread/TExecSQLThread就够了，其中ReadThread和SQLThread可以合并，因为SQLThread的工作不是很饱和，而相对而言ExecSQLThread就比较化时间