我有一个表，10万数据，用什么存储方式，查询最方便，速度最快，还减少硬盘读取？

Question

数据是从一个大的文本文件中读取的，要进行频繁的数据操作，还要能快速定位，并能前移后移，现在定不下程序中的存取方式。
选择有DataTable,类数组，access,excel众高手有什么建议么？

Answer 1

读取的话，可以考虑索引，分页。
更新的话。开放式并发http://hi.baidu.com/%E5%BC%A0%E6%98%A5%E9%94%A6/blog/item/492eadec3289432a63d09ffd.html

Answer 2

最快啊,当然是datetable了..内存直接操作,

Answer 3

access速度慢不能频繁操作，我有113000数据遍历一遍要3、4秒的时间，用SQL好了

Answer 4

还是建议etl到db中，然后简历适当的索引，这样查询效率才有保障。
datatable加载10万条数据？不知道你一行有多大，就算是1kb的话，1000条是1兆,10万就是100兆啊，而且这是保守估计。

Answer 5

存用Sql
读取一般用DataTable

Answer 6

存到SQL中，对数据频繁操作是不是要不断读盘？这样是不是速度会慢？
我现在想用datatable了，在内存中操作，但不知定位和遍历是不是最快的？

Answer 7

当然用高性能的数据库软件了，读取文件怎么处理并发？现代数据库和操作系统都具有缓存功能，所以不需要你考虑io问题，再不成你把数据放入内存，10w数据量也不大，可以使用ms cache，自己使用map，还可以使用memcached,这是个高性能的缓存。
数据库可以使用mysql，如果有money，可以采购oracle,如果你是嵌入式系统，可以使用berkeley db,免费高效的数据库，access还是免了吧。

Answer 8

SQL + DataSet + 数据分段如果内存足够大的话，可以一次读入，就不用分段了

Answer 9

SQL不会慢的，才10万而已嘛，读盘能慢到哪去啊！

Answer 10

呵呵，ACCESS和EXCEL出局，其他要根据自己情况选择了！

Answer 11

10W 这么多数据啊
access,excel可以别用了减少硬盘读取,那就用DataTable,内存读取操作的.
查询也和操作数据库一样方便
要速度很快,前提内存够大.综上所述,DataTable很合适了.
哪位高手有更好的意见,请告诉我哈,谢谢

Answer 12

10万数据量非常小，假设1条1K(1K算很大了)才100MB，这点内存现在对随便一台破计算机都不算大负担...用自定义数据结构集合在内存操作里比DataTable更高效...

Answer 13

SQL数据只有达到1000w级别的时候，性功能压力才能暴露出来

Answer 14

用Sql吧   我曾经用过DataTable 操作6W条的数据   读取的时候相当快   不过要上下移动的话就相当的慢了 每次移动都要更新一下Datatable  太慢了！

Answer 15

不支持 这个最耗内存了 DataTable DataSet都是比较耗内存的
不过十万条数据也不是很大

Answer 16

10W的数据如果用EXCEL保存会需要多久？

Answer 17

大数据量推荐2种方式：
1、关系型数据库+Fulltext
2、NoSQL，如MongoDB

Answer 18

事先建索因，可以用开源的Lucene.NET

Answer 19

SQL + DataSet + 数据分段

Answer 20

当然数据库了 mysql 或者 sqlserver
oracle 就不必了  牛刀杀鸡 反而慢

Answer 21

10万数据算什么呀，几个T的数据库都在做，分区，分区索引，数据量再上现在有非关系型数据库 mongodb,hadoop.........