txt批量导入数据库的问题.

现有一个txt文件里面有几十万条数据,或者更多,需要将这些数据导入SDF或者Access数据库.
怎样可以提高导入的效率?
将这个文件先切割成多个小文件,然后使用多线程导入.这样可以吗?如果可以,一般开多少个线程比较合理.
或者还有没有其它更好的方法.谢谢指点.

解决方案 »

  1.   

    BULK INSERT 
    或用数据库工具DTS
      

  2.   

    权限
    只有 sysadmin 和 bulkadmin 固定服务器角色成员才能执行 BULK INSERT。示例
    本例从指定的数据文件中导入订单详细信息，该文件使用竖杠 (|) 字符作为字段终止符，使用 |\n 作为行终止符。BULK INSERT Northwind.dbo.[Order Details]
       FROM 'f:\orders\lineitem.tbl'
       WITH 
          (
             FIELDTERMINATOR = '|',
             ROWTERMINATOR = '|\n'
          )本例指定 FIRE_TRIGGERS 参数。BULK INSERT Northwind.dbo.[Order Details]
       FROM 'f:\orders\lineitem.tbl'
       WITH
         (
            FIELDTERMINATOR = '|',
            ROWTERMINATOR = ':\n',
            FIRE_TRIGGERS
          )
      

  3.   

    有做过数据从txt导入到Access去的没？一般每秒导入多少?
      

  4.   

    可以看看SqlBlukCopy类, 如果是导入到SQL Server数据库的话
      

  5.   

    采用多线程, 一个线程从文本文件读各个字段的数据
    一个线程负责向数据库插入各字段,共享一些变量
    或SQL  Server中的DTS，   
    还可使用ADODB的BatchUpdate 
      

  6.   

    SdF 这么多大数据量　不适合用吧　
      

  7.   

    如果你使用线程建议看下 msdn的线程池 会节省很多时间 
      

  8.   

    先把数据写到XML里
    然后从XML里加到数据库里应该会快一点
      

  9.   

    Access啊，没经验，很久不用了，SQL Server的话方法很多。
      

  10.   


    先存入DataTable
    然后用SqlBulkCopy批量导入
    BatchSize设大点
    http://blog.csdn.net/yuxuanji/archive/2009/09/24/4588460.aspx
      

  11.   

    谢谢各位,导入的问题解决了.之前慢的原因是因为每次导入时要对比数据库,有就更新,没有就添加,现在改了直接添加,速度快了很多.
    ===================================================
    ps:最后问下:sdf里的一个表,数据有30万,然后连接时,会出现连接超时的吧,可以像SQL里面那样设置ConnectionTimeout吗?
    ===================================================
    明天结.
      

  12.   

    因为在你的这个操作中，延缓时间的不是数量，而是频繁的IO操作，大家都知道，在所有的操作中，IO操作是最慢的基本上是在秒级上。所以先映射到内存，内存是MS级的，当然要快很多了。
      

  13.   

    sqlce 我记得好像没有  ConnectionTimeout吧?必须设置成0
    这么大的数据量 我觉得access也比较吃力
    sql的我倒是做过,全部放入内存后逐条导入到db中
    速度很慢.因为是个人作品数据备份用,所以啥都没有处理.
      

  14.   

    你的txt文档结构清楚的话 你可以把它转换为CSV的格式，再转换为.xls的格式，把excel导入到数据库里面应该效率很高的吧