怎么处理100万条数据,让cpu得利用率不高,而且速度优良,大家讨论.参与者有分,分不够在加

Question

我处理100万条数据,这里我要判断数据的连续性,即两条数据存储时间不超过30秒认为是连续的,
我要判断这100万数据中有多少段是连续的,每一段连续的数据时间有长度,这个怎么判断速度最快,cpu得占用率最低.数据库 access 每天一个数据库表,一个数据表中一天存入的数据大约100万条左右,现在用时间作索引,运行环境win2000,但是找到任何一个时间段都是要一条一条数据进行处理,处理一遍大约要在几分钟左右,怎么样加速运算速度,并且降低cpu的利用率.我根据数据的存入时间,判断数据是否连续,我怎么能迅速的判断出连续数据的段数,以及起始时间,结束时间.

Answer 1

这么多数据，不如放到SQL Server里，用存储过程实现了。
数据量大了可以分页显示。

Answer 2

参考：
http://community.csdn.net/Expert/topic/4527/4527652.xml?temp=.122143

Answer 3

要是ORACLE的话是有个TRIGGERS，可以在你INSERT记录时进行判断

Answer 4

用sql存储过程吧,access 也可以用存储过程,再配合多线程,分页显示,加sql过滤,没有用的就别提出来了,其实有时候不是用一中方法好,而是配合用几种方法.

Answer 5

1.我做过类似的东西 我的经验就是在处理数据方面DELPHI+PRADOX 要比DELPHI+ACCESS快很多 楼主可以分析一下 如果可以换成PARADOX的话 这样速度就明显上来了降低cpu的利用率？？？晚上要降低呢？？除了线程 我找不出什么好的办法

Answer 6

关注，这有点意思，没有接触过
------------------------------------
体验速度,体验CSDN论坛助手:http://community.csdn.net/Expert/TopicView.asp?id=4700683