从 Sql2000 导2千万数据 到Oracle 11g,有什么快速的方法吗 我用Sql 的导出,1小时才导了30W条,太慢。求各位大侠指点。 解决方案 » 免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货 1、使用DTS2、从sql使用dblink连接oracle3、在oracle侧使用透明网关 oracle 这边表NOLOGGING,APPEND加快速度,批量插入,平面文件加载,SQL*LOAD, 挑战极限 Oracle数据库一秒导百万数据方法一.使用基本的Insert 语句 这种方法是最基本的方法,大多数人一开始都会想到这种方法。但是Insert语句似乎并不适合大批量的操作,是不是这样呢? 本方法中将100万数据分为10个批次,每个批次10万条,每10万条1个事务,分10次导入数据库。 基本语句:Insert Into TableB (Value1) values (‘”+i+”’); 说明:语句中的i是宿主程序中的一个累加变量,用于填充数据库字段中的值。 SQL 2000 耗时:901599 SQL 2008耗时:497638 方法二.使用BULK INSERT语句 这个类的效果,在本实验中可以说是最令人满意的了,它的使用最简便、灵活,速度很快。 “BULK INSERT”语句似乎不是很常用, Aicken听说Oracle中有一种可以将外部文件映射为Oracle临时表,然后直接将临时表中的数据导入Oracle其他表中的方法,这种方法的速度非常令人满意,SQL SERVER的BULK INSERT是不是同样令人满意呢? 基本语句:BULK INSERT TableB FROM 'c:\\sql.txt' WITH (FIELDTERMINATOR = ',',ROWTER /.,mbMINATOR='|',BATCHSIZE = 100000) 说明:“c:\\sql.txt”是一个预先生成的包含100条数据的文件,这些数据以“|”符号分隔,每10万条数据一个事务。 SQL 2000耗时:4009 SQL 2008耗时:10722 方法三.在多线程中使用BULK INSERT 在方法二的基础上,将100万条数据分五个线程,每个线程负责20万条数据,每5万条一个事物,五个线程同时启动,看看这样的效果吧。 SQL 2000耗时:21099 SQL 2008耗时:10997 方法四.使用SqlBulkCopy类 这种方法速度也很快,但是要依赖内存,对于几千万条、多字段的复杂数据,可能在内存方面会有较大的消耗,不过可以使用64位解决方案处理这个问题。 几千万条、多字段的数据的情况一般在一些业务场景中会遇到,比如计算全球消费者某个业务周期消费额时,要先获得主数据库表中的会员消费记录快照,并将快照储存至临时表中,然后供计算程序使用这些数据。并且有些时候消费者的消费数据并不在一台数据库服务器中,而是来自多个国家的多台服务器,这样我们就必须借助内存或外存设备中转这些数据,然后清洗、合并、检测,最后导入专用表供计算程序使用。 基本语句:using (System.Data.SqlClient.SqlBulkCopy sqlBC = new System.Data.SqlClient.SqlBulkCopy(conn)) { sqlBC.BatchSize = 100000; sqlBC.BulkCopyTimeout = 60; sqlBC.DestinationTableName = "dbo.TableB"; sqlBC.ColumnMappings.Add("valueA", "Value1"); sqlBC.WriteToServer(dt); } 说明: BatchSize = 100000; 指示每10万条一个事务并提交 BulkCopyTimeout = 60; 指示60秒按超时处理 DestinationTableName = "dbo.TableB"; 指示将数据导入TableB表 ColumnMappings.Add("valueA", "Value1"); 指示将内存中valueA字段与TableB中的Value1字段匹配 WriteToServer(dt);写入数据库。其中dt是预先构建好的DataTable,其中包含valueA字段。 SQL 2000耗时:4989 SQL 2008耗时:10412 方法五.在多线程中使用SqlBulkCopy类 基于方法四,将100万条数据分五个线程,每个线程负责20万条数据,每5万条一个事物,五个线程同时启动,看看这样的效果吧。 SQL 2000耗时:7682 SQL 2008耗时:10870 这个可以用oracle goldengate 可以实现 而且速度非常快 。goldengate支持异构数据库,亚秒的实时复制 GOLDGATE安装配置不都适合,建议使用KETTLE,绿色,免安装,速度快。 怎么取得某个字段的第二大的值 有点怪的包体,求答疑 求SQL语句,大侠帮忙,都郁闷好久了 如何将数据的字符集由一种切换到另一种(在线等待) Oracle Objects for OLE组件如何插入BLOB? 数据库移植 Oralce 9 的入门基础问题,请各位大侠帮忙 请问用记事本写的sql脚本怎么在sql plus中执行? 有关Oracle Designer的问题 Orcale新手求教 请教大牛: 如何将记录拆分 怎么更新一个为null的值?
2、从sql使用dblink连接oracle
3、在oracle侧使用透明网关
加快速度,批量插入,
平面文件加载,SQL*LOAD,
方法一.使用基本的Insert 语句 这种方法是最基本的方法,大多数人一开始都会想到这种方法。但是Insert语句似乎并不适合大批量的操作,是不是这样呢? 本方法中将100万数据分为10个批次,每个批次10万条,每10万条1个事务,分10次导入数据库。 基本语句:Insert Into TableB (Value1) values (‘”+i+”’); 说明:语句中的i是宿主程序中的一个累加变量,用于填充数据库字段中的值。 SQL 2000 耗时:901599 SQL 2008耗时:497638 方法二.使用BULK INSERT语句 这个类的效果,在本实验中可以说是最令人满意的了,它的使用最简便、灵活,速度很快。 “BULK INSERT”语句似乎不是很常用, Aicken听说Oracle中有一种可以将外部文件映射为Oracle临时表,然后直接将临时表中的数据导入Oracle其他表中的方法,这种方法的速度非常令人满意,SQL SERVER的BULK INSERT是不是同样令人满意呢? 基本语句:BULK INSERT TableB FROM 'c:\\sql.txt' WITH (FIELDTERMINATOR = ',',ROWTER /.,mbMINATOR='|',BATCHSIZE = 100000) 说明:“c:\\sql.txt”是一个预先生成的包含100条数据的文件,这些数据以“|”符号分隔,每10万条数据一个事务。 SQL 2000耗时:4009 SQL 2008耗时:10722 方法三.在多线程中使用BULK INSERT 在方法二的基础上,将100万条数据分五个线程,每个线程负责20万条数据,每5万条一个事物,五个线程同时启动,看看这样的效果吧。 SQL 2000耗时:21099 SQL 2008耗时:10997 方法四.使用SqlBulkCopy类 这种方法速度也很快,但是要依赖内存,对于几千万条、多字段的复杂数据,可能在内存方面会有较大的消耗,不过可以使用64位解决方案处理这个问题。 几千万条、多字段的数据的情况一般在一些业务场景中会遇到,比如计算全球消费者某个业务周期消费额时,要先获得主数据库表中的会员消费记录快照,并将快照储存至临时表中,然后供计算程序使用这些数据。并且有些时候消费者的消费数据并不在一台数据库服务器中,而是来自多个国家的多台服务器,这样我们就必须借助内存或外存设备中转这些数据,然后清洗、合并、检测,最后导入专用表供计算程序使用。 基本语句:using (System.Data.SqlClient.SqlBulkCopy sqlBC = new System.Data.SqlClient.SqlBulkCopy(conn))
{ sqlBC.BatchSize = 100000;
sqlBC.BulkCopyTimeout = 60;
sqlBC.DestinationTableName = "dbo.TableB";
sqlBC.ColumnMappings.Add("valueA", "Value1");
sqlBC.WriteToServer(dt);
}
说明: BatchSize = 100000; 指示每10万条一个事务并提交 BulkCopyTimeout = 60; 指示60秒按超时处理 DestinationTableName = "dbo.TableB"; 指示将数据导入TableB表 ColumnMappings.Add("valueA", "Value1"); 指示将内存中valueA字段与TableB中的Value1字段匹配 WriteToServer(dt);写入数据库。其中dt是预先构建好的DataTable,其中包含valueA字段。 SQL 2000耗时:4989 SQL 2008耗时:10412 方法五.在多线程中使用SqlBulkCopy类 基于方法四,将100万条数据分五个线程,每个线程负责20万条数据,每5万条一个事物,五个线程同时启动,看看这样的效果吧。 SQL 2000耗时:7682 SQL 2008耗时:10870
GOLDGATE安装配置不都适合,建议使用KETTLE,绿色,免安装,速度快。