FOR循环SQL读取6万条记录时不会动了，我这代码如何改？谢谢

Question

我用下面的代码测试几百条记录时没有问题，但是测试正式的达到6万条记录时，就死在那里不动了，请问应该如何写代码才是最优化的？我只要循环读出表中6万条记录的一个字段。非常感谢大家的指教。for (int i = 0; i < 60000; i++)
    {    
       strSQL = "select * from test where id > " + i; 
       OleDbCommand Cmd = new OleDbCommand(strSQL, MyConn); 
       OleDbDataReader Dr; 
       Dr = Cmd.ExecuteReader();
       Dr.Read();
       int intId = (int)Dr["id"];
       Response.Write("现在读取第" + intId + "条记录<br>");
       Dr.Close();
    }不好意思我的分不多了，全部奉上，谢谢大家指教

Answer 1

这样 只取id strSQL = "select id from test where id > " + i; 

Answer 2

另外，一般取6万肯定不是用于显示，可以把一些逻辑放到sql语句中。如果用于显示，可以分页。每次取一点。

Answer 3

select top 60000 id from test order by id asc 

Answer 4

这个应该对，没注意lz去6w次，每次都去6w -i条记录

Answer 5

for (int i = 0; i < 60000; i++)
     {    
        strSQL = "select * from test where id > " + i; 
        OleDbCommand Cmd = new OleDbCommand(strSQL, MyConn); 
        OleDbDataReader Dr; 
        Dr = Cmd.ExecuteReader();
        Dr.Read();
        int intId = (int)Dr["id"];
        Response.Write("现在读取第" + intId + "条记录<br>");
        Dr.Close();
     }
 这样做确实效率低下,首先*应该换成整个字段名,其次都是60000条一起读取,然后做个do until rs.eof之类的,当然这是ado的方法,你这个能失败我怀疑可能是因为太慢,并不是真死,因为如果网页要返回6万行记录需要的时间相当久,而且不能保证浏览器不卡死,你可以在respsonse.Write后加个flush试试,看看你的硬件能跑到多少行,当然这么做会更卡,可以直接优化下Response.Write(intId)就完了,自己做测试用,但是要知道实际操作中不可能需要这样的,这么多数据一般就用分页来做了.哪个用户也不会一下看60000行数据.

Answer 6

for (int i = 0; i < 60000; i++){
    Response.Write("现在读取第" + CStr(i) + "条记录<br>");
}这个与你欲显示的结果完全相同,速度快几百倍.

Answer 7

Reader是独占连接的，循环怎么搞到外面去了？
  
strSQL = "select id from test where id > " + i; 
OleDbCommand Cmd = new OleDbCommand(strSQL, MyConn); 
OleDbDataReader Dr; 
Dr = Cmd.ExecuteReader();
while(Dr.Read())
{
    int intId = (int)Dr["id"];
    Response.Write("现在读取第" + intId + "条记录<br>");
}
Dr.Close();这样就很快了，如果想进一步优化，可以用上多线程
    

Answer 8

  你先写一个方法   把  top 60000 id全部存到一个datatable里面；
然后再for循环的时候直接调用方法！  这样速度比你每循环一次就跑一次数据库快了N倍！

Answer 9

6W条数据分6W次去读取数据，楼主觉得这样合理吗？你可以连接一次数据库，把6W条数据取出来，放到内存中。让后再处理的你想要的东西。不比你现在这样好多了

Answer 10

你循环就只有6W次，当然6W次完了以后界面就不动了。如果6W条以后还动，那才是见鬼了

Answer 11

暂且先不管代码  从逻辑上来分析下
1：首先，从id>1 然后循环到 id>60000  这里我们可以得到的是 知道id>1的集合 肯定会包含id>60000的集合
    那么，我们只需要取读取数据库一次就能得到datatable，在代码中去处理程序，避免反复的读写数据库；
2：既然你明确的知道只要读取一个字段，显然*是不合理的，select [字段] from 表 where id>1 
剩下的就是代码里面做逻辑分析了

Answer 12

楼主要实现什么效果啊，按你的代码，如果表中的id值为 1、3、4....，当i等于1时，取出的值是3，当i等于2时，取出的值还是3。
如果楼主的需求是这样的话，那上面各位的回答都不满足要求，楼主应该学一下怎么写存储过程和使用游标，或者把id小于6w的值都取出来，在后台做判断；如果楼只是想取前6w个id值，那直接select top 60000 id from test，再通过循环while(reader.Read()){ }实现自己的逻辑就可以了

Answer 13

+1，楼主看看这个，可以将上面的strSql语句换成这样：“select top 60000 id from test order by id asc”这是查询数据库前6万条记录。

Answer 14

看了这么多人的回复，感慨万分，首先是我的逻辑有问题，我是要将其中的一个字段取出来使用，再作进一步的处理。因为有6W 多条记录，所以我就写成了用for循环取下一条记录的方式读取了6W次，非常感谢大家。