大批量数据处理

Question

要处理1万行左右的数据,并且要对每一条数据进行分析处理,并将结果写到另一个库中,能不能只打开一次数据库,每次都打开、关闭数据库那要打开一万多次，怎么办，谁给我效率。
最好给点代码看看

Answer 1

放在dataset中慢慢操作，完了以后再update

Answer 2

有两种办法：
第一：
    如果你用的不是桌面数据库，可以写一个存储过程，在存储过程里进行数据操作，这样效率极高，速度也很快。第二：
    打开数据库，将数据读到一个DataSet或DataTable中，然后开始处理，完了之后Update 数据库。这个方法效率不如第一个方法好。

Answer 3

大致流程
connection1_open();
connection2_open();get_data_from_connection1();
while (fetch )
{
 //DoSomething();
 insert_into_connection2();
}
connection2_close();
connection1_close();不必要每处理一次都重新打开连接。

Answer 4

先在当前库处理完事情，然后调用工具或者SQL语句都可以导入的

Answer 5

关键看你数据的情况如果两个表都是一万来条记录，那么    取得数据库1的数据 ds1，并建立hashtable ht1
    取得数据库2的数据 ds2, 并建立hashtable ht2    对于ds1的每条数据
        检查 这条记录是否有效，如果无效，从ds1种去掉
        使用 ht2校验记录是否存在，如果存在，从ds1中去掉    把ds1中的每条记录插入到数据库2种(使用批量更新)