oracle 如何批量导入TXT文件 TXT文件都是一样的格式,用逗号隔开请问如何写成批处理文件进行导入,因为每天都有大量文件需要导入,不可能人工去导的谢谢高手指点 解决方案 » 免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货 1:ORACLE写个定时去导入到功能就好了2:前端用程序写个批量导入到功能 load datainfile '../test.txt'replace into table 表名fields terminated by "," optionally enclosed by '"'trailing nullcols(t01,t02,....)把上述存为input.ctl sqlldr 用户/密码 control=/input.ctl所在的路径 bad=test.txt所在的路径 Oracle SQL Loaderhttp://blog.csdn.net/tianlesoftware/archive/2009/10/15/4674063.aspxSQL LOADER 实例 创建表:test_load, sql>create table test_load(id number(10),uname varchar2(20), phone varchar2(20)); 控制文件:d:\loader.ctl load data infile 'd:\datafile.txt' append into table test_load fields terminated by "," optionally enclosed by '"' ( id, uname, phone ) 数据文件:D:\datafile.txt 001,"david",0551-1234567 002,"dave",0551-7654311 sqlloader命令: SQL>sqlldr 'sys/admin AS SYSDBA' control=D:\loader.ctl log=d:\a.log SQL*Loader: Release 10.2.0.1.0 - Production on 星期四 7月 2 09:40:42 2009 Copyright (c) 1982, 2005, Oracle. All rights reserved. 达到提交点 - 逻辑记录计数 1 达到提交点 - 逻辑记录计数 2 SQL> select * from test2; EMPNO ENAME SAL DEPTNO ---------- ---------- ---------- ---------- 10002 Frank 500 20 10001 Scott 1000 40 楼上说的都是指定某一个文件的导入,lz要求的是批量,sqlldr好像不支持 "*.txt"这样的通配符,只能明示具体的文件名,建议用shell编一个产生control文件的脚本,然后在用sqlldr调用它,具体脚本可以baidu一下 大家好像说的都是单独的文件啊,我那些是很多文件啊,都是以日期为文件名的怎么用shell编写control文件的脚本啊?最好有代码,谢谢了 用dir *.txt>control.ctl把当前目录下的文本文件都列到control 文件,其他的load data infile等命令可直接生成,上网搜索一下吧 文件名都在control文件里了,怎么执行sqlldr啊,它好像只能单个文件执行啊上网怎么搜啊,我一直在找啊,谢谢大大给个网址吧,万分感谢 我有个最傻的办法可以编个程序监视产生txt文件的目录,每当有新的txt产生,就自动产生相应的控制文件,并提交给sqlldr执行 方法1.导文本文件到ORACLECREATE TABLE HKH_8月未拨打( PHONE_NUM VARCHAR2(11))ORGANIZATION EXTERNAL(TYPE ORACLE_LOADER DEFAULT DIRECTORY TEMP ACCESS PARAMETERS(RECORDS DELIMITED BY NEWLINE FIELDS TERMINATED BY ',') LOCATION('HKH_181.TXT') );方法二 SQL LOADER 命令应用1.创建表结构CREATE TABLE HKH_LM( ACCT_MONTH VARCHAR2(8), PHONE_NUM VARCHAR2(11), PLAN_PRODUCT VARCHAR2(20))2.编写控制文件load datainfile 'D:\TEMP\联秘9.8号无效号码.CSV'append into table hkh_lmfields terminated by ","(ACCT_MONTH,PHONE_NUM,PLAN_PRODUCT)3.用SQLLDR命令导入 楼主的第一个方法,我在ORACLE中运行提示ORA-29913: error in executing ODCIEXTTABLEOPEN callout 怎么会有这个错误的啊??? 还是找个专门工具吧,可以用sql server的导入导出,简单马上可以上手,或者开源的kettle ETL工具,需要学习一下。 在你的库上建一个叫TEMP的DIRECTORY对象,然后赋给用户读写权限就可以了 http://www.blogjava.net/Unmi/archive/2009/01/05/249956.html这个详细,你去看看~~ 在 Oracle 数据库中,我们通常在不同数据库的表间记录进行复制或迁移时会用以下几种方法:1. A 表的记录导出为一条条分号隔开的 insert 语句,然后执行插入到 B 表中2. 建立数据库间的 dblink,然后用 create table B as select * from A@dblink where ...,或 insert into B select * from A@dblink where ...3. exp A 表,再 imp 到 B 表,exp 时可加查询条件4. 程序实现 select from A ..,然后 insert into B ...,也要分批提交5. 再就是本篇要说到的 Sql Loader(sqlldr) 来导入数据,效果比起逐条 insert 来很明显第 1 种方法在记录多时是个噩梦,需三五百条的分批提交,否则客户端会死掉,而且导入过程很慢。如果要不产生 REDO 来提高 insert into 的性能,就要下面那样做:view sourceprint?1.alter table B nologging; 2.insert /* +APPEND */ into B(c1,c2) values(x,xx); 3.insert /* +APPEND */ into B select * from A@dblink where .....;好啦,前面简述了 Oracle 中数据导入导出的各种方法,我想一定还有更高明的。下面重点讲讲 Oracle 的 Sql Loader (sqlldr) 的用法。在命令行下执行 Oracle 的 sqlldr 命令,可以看到它的详细参数说明,要着重关注以下几个参数:userid -- Oracle 的 username/password[@servicename]control -- 控制文件,可能包含表的数据-------------------------------------------------------------------------------------------------------log -- 记录导入时的日志文件,默认为 控制文件(去除扩展名).logbad -- 坏数据文件,默认为 控制文件(去除扩展名).baddata -- 数据文件,一般在控制文件中指定。用参数控制文件中不指定数据文件更适于自动操作errors -- 允许的错误记录数,可以用他来控制一条记录都不能错rows -- 多少条记录提交一次,默认为 64skip -- 跳过的行数,比如导出的数据文件前面几行是表头或其他描述还有更多的 sqlldr 的参数说明请参考:sql loader的用法。用例子来演示 sqlldr 的使用,有两种使用方法:1. 只使用一个控制文件,在这个控制文件中包含数据2. 使用一个控制文件(作为模板) 和一个数据文件一般为了利于模板和数据的分离,以及程序的不同分工会使用第二种方式,所以先来看这种用法。数据文件可以是 CSV 文件或者以其他分割符分隔的,数据文件可以用 PL/SQL Developer 或者 Toad 导出,也可以用 SQL *Plus 的 spool 格式化产出,或是 UTL_FILE 包生成。另外,用 Toad 还能直接生成包含数据的控制文件。首先,假定有这么一个表 users,并插入五条记录:view sourceprint?1.create table users( 2. user_id number, --用户 ID 3. user_name varchar2(50), --用户名 4. login_times number, --登陆次数 5. last_login date --最后登录日期 6.)view sourceprint?1.insert into users values(1,'Unmi',3,sysdate); 2.insert into users values(2,NULL,5,to_date('2008-10-15','YYYY-MM-DD')); 3.insert into users values(3,'隔叶黄莺',8,to_date('2009-01-02','YYYY-MM-DD')); 4.insert into users values(4,'Kypfos',NULL,NULL); 5.insert into users values(5,'不知秋',1,to_date('2008-12-23','YYYY-MM-DD'));第二种方式: 使用一个控制文件(作为模板) 和一个数据文件1) 建立数据文件,我们这里用 PL/SQL Developer 导出表 users 的记录为 users_data.csv 文件,内容如下:view sourceprint?1." ","USER_ID","USER_NAME","LOGIN_TIMES","LAST_LOGIN"2."1","1","Unmi","3","2009-1-5 20:34:44"3."2","2","","5","2008-10-15"4."3","3","隔叶黄莺","8","2009-1-2"5."4","4","Kypfos","",""6."5","5","不知秋","1","2008-12-23"2) 建立一个控制文件 users.ctl,内容如下:view sourceprint?01.OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的选项可以写到这里边来,skip=1 用来跳过数据中的第一行 02.LOAD DATA 03.INFILE "users_data.csv" --指定外部数据文件,可以写多个 INFILE "another_data_file.csv" 指定多个数据文件 04.--这里还可以使用 BADFILE、DISCARDFILE 来指定坏数据和丢弃数据的文件, 05.truncate --操作类型,用 truncate table 来清除表中原有记录 06.INTO TABLE users -- 要插入记录的表 07.Fields terminated by "," -- 数据中每行记录用 "," 分隔 08.Optionally enclosed by '"' -- 数据中每个字段用 '"' 框起,比如字段中有 "," 分隔符时 09.trailing nullcols --表的字段没有对应的值时允许为空 10.( 11. virtual_column FILLER, --这是一个虚拟字段,用来跳过由 PL/SQL Developer 生成的第一列序号 12. user_id number, --字段可以指定类型,否则认为是 CHARACTER 类型, log 文件中有显示 13. user_name, 14. login_times, 15. last_login DATE "YYYY-MM-DD HH24:MI:SS" -- 指定接受日期的格式,相当用 to_date() 函数转换 16.)说明:在操作类型 truncate 位置可用以下中的一值:1) insert --为缺省方式,在数据装载开始时要求表为空2) append --在表中追加新记录3) replace --删除旧记录(用 delete from table 语句),替换成新装载的记录4) truncate --删除旧记录(用 truncate table 语句),替换成新装载的记录3) 执行命令:sqlldr dbuser/dbpass@dbservice control=users.ctl在 dbservice 指示的数据库的表 users 中记录就和数据文件中的一样了。执行完 sqlldr 后希望能留意一下生成的几个文件,如 users.log 日志文件、users.bad 坏数据文件等。特别是要看看日志文件,从中可让你更好的理解 Sql Loader,里面有对控制文件的解析、列出每个字段的类型、加载记录的统计、出错原因等信息。第一种方式,只使用一个控制文件在这个控制文件中包含数据1) 把 users_data.cvs 中的内容补到 users.ctl 中,并以 BEGINDATA 连接,还要把 INFILE "users_data.csv" 改为 INFILE *。同时为了更大化的说明问题,把数据处理了一下。此时,完整的 users.ctl 文件内容是:view sourceprint?01.OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的选项可以写到这里边来,skip=1 用来跳过数据中的第一行 02.LOAD DATA 03.INFILE * -- 因为数据同控制文件在一起,所以用 * 表示 04.append -- 这里用了 append 来操作,在表 users 中附加记录 05.INTO TABLE users 06.when LOGIN_TIMES<>'8' -- 还可以用 when 子句选择导入符合条件的记录 07.Fields terminated by ","08.trailing nullcols 09.( 10. virtual_column FILLER, --跳过由 PL/SQL Developer 生成的第一列序号 11. user_id "user_seq.nextval", --这一列直接取序列的下一值,而不用数据中提供的值 12. user_name "'Hi '||upper(:user_name)",--,还能用SQL函数或运算对数据进行加工处理 13. login_times terminated by ",", NULLIF(login_times='NULL') --可为列单独指定分隔符 14. last_login DATE "YYYY-MM-DD HH24:MI:SS" NULLIF (last_login="NULL") -- 当字段为"NULL"时就是 NULL 15.) 16.BEGINDATA --数据从这里开始 17. ,USER_ID,USER_NAME,LOGIN_TIMES,LAST_LOGIN 18.1,1,Unmi,3,2009-1-5 20:34 19.2,2,Fantasia,5,2008-10-15 20.3,3,隔叶黄莺,8,2009-1-2 21.4,4,Kypfos,NULL,NULL22.5,5,不知秋,1,2008-12-232) 执行一样的命令:sqlldr dbuser/dbpass@dbservice control=users.ctl比如,在控制台会显示这样的信息:C:\>sqlldr dbuser/dbpass@dbservice control=users.ctlSQL*Loader: Release 9.2.0.1.0 - Production on 星期三 1月 7 22:26:25 2009 Copyright (c) 1982, 2002, Oracle Corporation. All rights reserved. 达到提交点,逻辑记录计数4达到提交点,逻辑记录计数5上面的控制文件包含的内容比较复杂(演示目的),请根据注释理解每个参数的意义。还能由此发掘更多用法。最后说下有关 SQL *Loader 的性能与并发操作1) ROWS 的默认值为 64,你可以根据实际指定更合适的 ROWS 参数来指定每次提交记录数。(体验过在 PL/SQL Developer 中一次执行几条条以上的 insert 语句的情形吗?)2)常规导入可以通过使用 INSERT语句来导入数据。Direct导入可以跳过数据库的相关逻辑(DIRECT=TRUE),而直接将数据导入到数据文件中,可以提高导入数据的性能。当然,在很多情况下,不能使用此参数(如果主键重复的话会使索引的状态变成UNUSABLE!)。 3) 通过指定 UNRECOVERABLE选项,可以关闭数据库的日志(是否要 alter table table1 nologging 呢?)。这个选项只能和 direct 一起使用。4) 对于超大数据文件的导入就要用并发操作了,即同时运行多个导入任务. sqlldr userid=/ control=result1.ctl direct=true parallel=true sqlldr userid=/ control=result2.ctl direct=true parallel=true sqlldr userid=/ control=result2.ctl direct=true parallel=true 当加载大量数据时(大约超过10GB),最好抑制日志的产生: SQL>ALTER TABLE RESULTXT nologging; 这样不产生REDO LOG,可以提高效率。然后在 CONTROL 文件中 load data 上面加一行:unrecoverable, 此选项必须要与DIRECT共同应用。 在并发操作时,ORACLE声称可以达到每小时处理100GB数据的能力!其实,估计能到 1-10G 就算不错了,开始可用结构 相同的文件,但只有少量数据,成功后开始加载大量数据,这样可以避免时间的浪费。 我也导出来了多个TXT的数据,文件名是TOAD默认生成的(表名);导入的时候就郁闷啦,几十个文本啊,看的我眼睛都花了,能不能给个简单好用的方法啊 【求助】Oracle自增字段创建触发器报错 如何 查询出oralce用户的表的所有“列”(包含其他用户共享给他的表) < 给我上次提的问题不同上次是查询表这次是查询列 > 求C++操作 Oracle Clob,Blob的教程或讲解,最好是中文的 有关oracle数据库体系结构的问题 请教一个job oracledbconsole是个什么服务 如何使用序列 简单的循环插入语句 请教:select查询语句问题! 关于Oracle连接 在线等 在Linus下安装oracle问题 update索引问题
2:前端用程序写个批量导入到功能
infile '../test.txt'
replace into table 表名
fields terminated by "," optionally enclosed by '"'
trailing nullcols
(
t01,
t02,
....
)把上述存为input.ctl sqlldr 用户/密码 control=/input.ctl所在的路径 bad=test.txt所在的路径
http://blog.csdn.net/tianlesoftware/archive/2009/10/15/4674063.aspxSQL LOADER 实例 创建表:test_load,
sql>create table test_load(id number(10),uname varchar2(20), phone varchar2(20));
控制文件:d:\loader.ctl
load data
infile 'd:\datafile.txt'
append into table test_load
fields terminated by "," optionally enclosed by '"'
( id, uname, phone ) 数据文件:D:\datafile.txt
001,"david",0551-1234567
002,"dave",0551-7654311
sqlloader命令:
SQL>sqlldr 'sys/admin AS SYSDBA' control=D:\loader.ctl log=d:\a.log
SQL*Loader: Release 10.2.0.1.0 - Production on 星期四 7月 2 09:40:42 2009
Copyright (c) 1982, 2005, Oracle. All rights reserved.
达到提交点 - 逻辑记录计数 1
达到提交点 - 逻辑记录计数 2
SQL> select * from test2;
EMPNO ENAME SAL DEPTNO
---------- ---------- ---------- ----------
10002 Frank 500 20
10001 Scott 1000 40
怎么用shell编写control文件的脚本啊?
最好有代码,谢谢了
上网怎么搜啊,我一直在找啊,谢谢大大给个网址吧,万分感谢
可以编个程序监视产生txt文件的目录,每当有新的txt产生,就自动产生相应的控制文件,并提交给sqlldr执行
(
PHONE_NUM VARCHAR2(11)
)
ORGANIZATION EXTERNAL
(TYPE ORACLE_LOADER
DEFAULT DIRECTORY TEMP
ACCESS PARAMETERS(RECORDS DELIMITED BY NEWLINE FIELDS TERMINATED BY ',')
LOCATION('HKH_181.TXT')
);
方法二 SQL LOADER 命令应用1.创建表结构CREATE TABLE HKH_LM
(
ACCT_MONTH VARCHAR2(8),
PHONE_NUM VARCHAR2(11),
PLAN_PRODUCT VARCHAR2(20)
)2.编写控制文件
load data
infile 'D:\TEMP\联秘9.8号无效号码.CSV'
append into table hkh_lm
fields terminated by ","
(ACCT_MONTH,PHONE_NUM,PLAN_PRODUCT)3.用SQLLDR命令导入
楼主的第一个方法,我在ORACLE中运行提示
ORA-29913: error in executing ODCIEXTTABLEOPEN callout
怎么会有这个错误的啊???
在你的库上建一个叫TEMP的DIRECTORY对象,然后赋给用户读写权限就可以了
2. 建立数据库间的 dblink,然后用 create table B as select * from A@dblink where ...,或 insert into B select * from A@dblink where ...
3. exp A 表,再 imp 到 B 表,exp 时可加查询条件
4. 程序实现 select from A ..,然后 insert into B ...,也要分批提交
5. 再就是本篇要说到的 Sql Loader(sqlldr) 来导入数据,效果比起逐条 insert 来很明显第 1 种方法在记录多时是个噩梦,需三五百条的分批提交,否则客户端会死掉,而且导入过程很慢。如果要不产生 REDO 来提高 insert into 的性能,就要下面那样做:view sourceprint?1.alter table B nologging;
2.insert /* +APPEND */ into B(c1,c2) values(x,xx);
3.insert /* +APPEND */ into B select * from A@dblink where .....;
好啦,前面简述了 Oracle 中数据导入导出的各种方法,我想一定还有更高明的。下面重点讲讲 Oracle 的 Sql Loader (sqlldr) 的用法。在命令行下执行 Oracle 的 sqlldr 命令,可以看到它的详细参数说明,要着重关注以下几个参数:userid -- Oracle 的 username/password[@servicename]
control -- 控制文件,可能包含表的数据
-------------------------------------------------------------------------------------------------------
log -- 记录导入时的日志文件,默认为 控制文件(去除扩展名).log
bad -- 坏数据文件,默认为 控制文件(去除扩展名).bad
data -- 数据文件,一般在控制文件中指定。用参数控制文件中不指定数据文件更适于自动操作
errors -- 允许的错误记录数,可以用他来控制一条记录都不能错
rows -- 多少条记录提交一次,默认为 64
skip -- 跳过的行数,比如导出的数据文件前面几行是表头或其他描述还有更多的 sqlldr 的参数说明请参考:sql loader的用法。用例子来演示 sqlldr 的使用,有两种使用方法:1. 只使用一个控制文件,在这个控制文件中包含数据
2. 使用一个控制文件(作为模板) 和一个数据文件一般为了利于模板和数据的分离,以及程序的不同分工会使用第二种方式,所以先来看这种用法。数据文件可以是 CSV 文件或者以其他分割符分隔的,数据文件可以用 PL/SQL Developer 或者 Toad 导出,也可以用 SQL *Plus 的 spool 格式化产出,或是 UTL_FILE 包生成。另外,用 Toad 还能直接生成包含数据的控制文件。首先,假定有这么一个表 users,并插入五条记录:view sourceprint?1.create table users(
2.
user_id number, --用户 ID
3.
user_name varchar2(50), --用户名
4.
login_times number, --登陆次数
5.
last_login date --最后登录日期
6.)
view sourceprint?1.insert into users values(1,'Unmi',3,sysdate);
2.insert into users values(2,NULL,5,to_date('2008-10-15','YYYY-MM-DD'));
3.insert into users values(3,'隔叶黄莺',8,to_date('2009-01-02','YYYY-MM-DD'));
4.insert into users values(4,'Kypfos',NULL,NULL);
5.insert into users values(5,'不知秋',1,to_date('2008-12-23','YYYY-MM-DD'));
第二种方式: 使用一个控制文件(作为模板) 和一个数据文件1) 建立数据文件,我们这里用 PL/SQL Developer 导出表 users 的记录为 users_data.csv 文件,内容如下:view sourceprint?1." ","USER_ID","USER_NAME","LOGIN_TIMES","LAST_LOGIN"
2."1","1","Unmi","3","2009-1-5 20:34:44"
3."2","2","","5","2008-10-15"
4."3","3","隔叶黄莺","8","2009-1-2"
5."4","4","Kypfos","",""
6."5","5","不知秋","1","2008-12-23"
2) 建立一个控制文件 users.ctl,内容如下:view sourceprint?01.OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的选项可以写到这里边来,skip=1 用来跳过数据中的第一行
02.LOAD DATA
03.INFILE "users_data.csv" --指定外部数据文件,可以写多个 INFILE "another_data_file.csv" 指定多个数据文件
04.--这里还可以使用 BADFILE、DISCARDFILE 来指定坏数据和丢弃数据的文件,
05.truncate --操作类型,用 truncate table 来清除表中原有记录
06.INTO TABLE users -- 要插入记录的表
07.Fields terminated by "," -- 数据中每行记录用 "," 分隔
08.Optionally enclosed by '"' -- 数据中每个字段用 '"' 框起,比如字段中有 "," 分隔符时
09.trailing nullcols --表的字段没有对应的值时允许为空
10.(
11.
virtual_column FILLER, --这是一个虚拟字段,用来跳过由 PL/SQL Developer 生成的第一列序号
12.
user_id number, --字段可以指定类型,否则认为是 CHARACTER 类型, log 文件中有显示
13.
user_name,
14.
login_times,
15.
last_login DATE "YYYY-MM-DD HH24:MI:SS" -- 指定接受日期的格式,相当用 to_date() 函数转换
16.)
说明:在操作类型 truncate 位置可用以下中的一值:1) insert --为缺省方式,在数据装载开始时要求表为空
2) append --在表中追加新记录
3) replace --删除旧记录(用 delete from table 语句),替换成新装载的记录
4) truncate --删除旧记录(用 truncate table 语句),替换成新装载的记录3) 执行命令:sqlldr dbuser/dbpass@dbservice control=users.ctl在 dbservice 指示的数据库的表 users 中记录就和数据文件中的一样了。执行完 sqlldr 后希望能留意一下生成的几个文件,如 users.log 日志文件、users.bad 坏数据文件等。特别是要看看日志文件,从中可让你更好的理解 Sql Loader,里面有对控制文件的解析、列出每个字段的类型、加载记录的统计、出错原因等信息。第一种方式,只使用一个控制文件在这个控制文件中包含数据1) 把 users_data.cvs 中的内容补到 users.ctl 中,并以 BEGINDATA 连接,还要把 INFILE "users_data.csv" 改为 INFILE *。同时为了更大化的说明问题,把数据处理了一下。此时,完整的 users.ctl 文件内容是:view sourceprint?01.OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的选项可以写到这里边来,skip=1 用来跳过数据中的第一行
02.LOAD DATA
03.INFILE * -- 因为数据同控制文件在一起,所以用 * 表示
04.append -- 这里用了 append 来操作,在表 users 中附加记录
05.INTO TABLE users
06.when LOGIN_TIMES<>'8' -- 还可以用 when 子句选择导入符合条件的记录
07.Fields terminated by ","
08.trailing nullcols
09.(
10.
virtual_column FILLER, --跳过由 PL/SQL Developer 生成的第一列序号
11.
user_id "user_seq.nextval", --这一列直接取序列的下一值,而不用数据中提供的值
12.
user_name "'Hi '||upper(:user_name)",--,还能用SQL函数或运算对数据进行加工处理
13.
login_times terminated by ",", NULLIF(login_times='NULL') --可为列单独指定分隔符
14.
last_login DATE "YYYY-MM-DD HH24:MI:SS" NULLIF (last_login="NULL") -- 当字段为"NULL"时就是 NULL
15.)
16.BEGINDATA --数据从这里开始
17.
,USER_ID,USER_NAME,LOGIN_TIMES,LAST_LOGIN
18.1,1,Unmi,3,2009-1-5 20:34
19.2,2,Fantasia,5,2008-10-15
20.3,3,隔叶黄莺,8,2009-1-2
21.4,4,Kypfos,NULL,NULL
22.5,5,不知秋,1,2008-12-23
2) 执行一样的命令:sqlldr dbuser/dbpass@dbservice control=users.ctl比如,在控制台会显示这样的信息:C:\>sqlldr dbuser/dbpass@dbservice control=users.ctlSQL*Loader: Release 9.2.0.1.0 - Production on 星期三 1月 7 22:26:25 2009 Copyright (c) 1982, 2002, Oracle Corporation. All rights reserved. 达到提交点,逻辑记录计数4
达到提交点,逻辑记录计数5上面的控制文件包含的内容比较复杂(演示目的),请根据注释理解每个参数的意义。还能由此发掘更多用法。最后说下有关 SQL *Loader 的性能与并发操作1) ROWS 的默认值为 64,你可以根据实际指定更合适的 ROWS 参数来指定每次提交记录数。(体验过在 PL/SQL Developer 中一次执行几条条以上的 insert 语句的情形吗?)2)常规导入可以通过使用 INSERT语句来导入数据。Direct导入可以跳过数据库的相关逻辑(DIRECT=TRUE),而直接将数据导入到数据文件中,可以提高导入数据的性能。当然,在很多情况下,不能使用此参数(如果主键重复的话会使索引的状态变成UNUSABLE!)。 3) 通过指定 UNRECOVERABLE选项,可以关闭数据库的日志(是否要 alter table table1 nologging 呢?)。这个选项只能和 direct 一起使用。4) 对于超大数据文件的导入就要用并发操作了,即同时运行多个导入任务. sqlldr userid=/ control=result1.ctl direct=true parallel=true
sqlldr userid=/ control=result2.ctl direct=true parallel=true
sqlldr userid=/ control=result2.ctl direct=true parallel=true 当加载大量数据时(大约超过10GB),最好抑制日志的产生:
SQL>ALTER TABLE RESULTXT nologging;
这样不产生REDO LOG,可以提高效率。然后在 CONTROL 文件中 load data 上面加一行:unrecoverable, 此选项必须要与DIRECT共同应用。
在并发操作时,ORACLE声称可以达到每小时处理100GB数据的能力!其实,估计能到 1-10G 就算不错了,开始可用结构 相同的文件,但只有少量数据,成功后开始加载大量数据,这样可以避免时间的浪费。