使用DaterReader分页读取大数据量数据

Question

本帖最后由 qiao5213 于 2012-04-14 22:09:08 编辑

Answer 1

不建议使用DataReader，最好用DataSet，以免占用连接资源。

Answer 2

在读取数据的时候把DataReader改成DataSet应该很方便的吧？
还有建议LZ用存储过程来分页哈，这样效率要高

Answer 3

原有的系统中几乎已经完成，所有的绑定读取数据都是用的读取数据库返回List<model>的方式，我想过使用dataset，但是这样改动太大

Answer 4

你反正取出的数据不多啊，应该是在在大数据量中去获取获取数据吧，那应该2个问题不大吧，看看SQL语句写的如何，数据库设计的如何

Answer 5

这完全可以。显然如果仅仅在你这个记录过滤方法，假设使用DataTable/DataSet读取然后再过滤掉start条记录，会慢得无法接受了，绝对不能使用什么DataSet。使用游标来以.net程序控制跳过start条记录，你就只能使用DBDataReder。

Answer 6

DataAdapter本身的分页方法Fill(DataSet dataSet, string srcTable, IDataReader dataReader, int startRecord, int maxRecords)
它其实就是跟你的方法一样，使用DbDaatReader读取，并且前start个记录跳过（也就是不读取到内存里）。因此原理跟你的代码一样，而且显然没有你的代码更简洁方便（因为DataSet要维护有很多状态和其它功能）。所以说，你的代码不但是正确的，而且比所谓的DataSet分页要轻快多了。而至于说同样的sql语句，是不是写成存储过程就“执行得快了”，我想你自己测试下就知道了，看看到底有几毛钱价值，到底是方便了还是繁琐了。

Answer 7

LZ我看你的代码是不是把所有的记录都读取出来，再read的循环里面读取相应分页的数据的？
如果是这样的话在数据库查询的时候为什么不直接查询相应分页的数据条数呢？
这样就会大大提高运行的效率了，用datareader也ok的

Answer 8

我觉得LZ可能陷入一个死圈了，
我觉得本身从数据库里面读取100W条数据就是一个很大的开销了，在此基础上优化出来的效果就很不明显了，
所以还是建议LZ尽量改成读取相应分页条数的数据，你想那么多方法去优化还不如改了你的代码。
还有另一个LZ可以建议数据库的缓存，那这样的话对读取数据的压力就会减小很多，运行速度也会大大加快。

Answer 9

dataset是不如datareader。动软生成的代码貌似是dataset，然后bll层是DataTableToList转成list<model>。我不太清楚如果分页的话dal层用datareader和dataset效率有没有大区别。

Answer 10

DataSet 就是用 DataReader 构建的。初学者别模仿动软的代码，DataTableToList 就绕弯路了。