通过定义文本格式实现数据从外部导入？

Question

我的一个项目，要求从外部导入数据，这些数据由第三方提供，他们提供文本格式，为了能导入到我们的数据库，
需要我们规定一个文本数据的格式，这个以前没有做过，希望大侠给点指导！谢谢

Answer 1

建议楼主下一个数据通用转换工具，
文本数据的格式一般为两种：字段用逗号隔开 和字段用tab符隔开（也有其它的符号的），行结尾都用回车符，如
字段A，字段B，字段C 
2342,asdf,dddb
2544,asda,sdfd
或
字段A   字段B   字段C  （中间为TAB符）
2342   asdf  dddb
2544   asda  sdfd导入可以用第三方工具，如专用的数据转换器，也可以用GOLDEN32 ，它本身是一个数据查询工具，但对文本数据导入支持好，可以自定以间隔符，非常方便。

Answer 2

常用sqlloader，导入sql server或其它文本文件。
该命令注意2个参数：
errors：如果导入的数据量大，值要大，否则产生错误后，中断导入。
buffersize：值要大，否则装不下数据，导入也忙。
.ctl文件的写法：
可以用逗号、空格等分隔符，定义好就可以。字段顺序要和文本文件一一对应。当然，可以用sql server的工具或者其它的第三方工具。

Answer 3

一般就照数据库定义文件的格式。
比如说：
字段 长度  位置
A     1     1
B     2     3
C     4     7

Answer 4

文本文件导入到数据库中的几种方法:
    大型的数据库开发中常常遇到数据源是平面文件（如文本文件）的情况，对于这样的数据源，无法使用数据库对其数据进行有效的管理，另外也无法使用SQL语句对其进行查询和操作，所以当务之急就是将这些平面文件导 
    入到数据库中，然后就可以对其进行高效的操作了。
下面介绍几种常见的数据导入的方法，希望能够给大家启迪。另外，本文所涉及到的数据库均为ORACLE数据库，其实对于其他数据库而言，方法类似。一、Sql*:Loader
该方法是Oracle数据库下数据导入的最重要的方法之一，该工具由Oracle客户端提供，
其基本工作原理是：首先要针对数据源文件制作一个控制文件，控制文件是用来解释如何对源文件进行解析，其中需要包含源文件的数据格式、目标数据库的字段等信息，一个典型的控制文件为如下形式：
LOAD DATA 
    INFILE  '/ora9i/fengjie/agent/data/ipaagentdetail200410.txt'     
    TRUNCATE （也可以用append替换TRUNCATE）
    INTO TABLE fj_ipa_agentdetail
    fields terminated ","
    trailing nullcols
(  AGENT_NO       char, 
  AGENT_NAME     char, 
  AGENT_ADDRESS  char, 
  AGENT_LINKNUM  char, 
  AGENT_LINKMAN  char           
)
其中，INFILE  '/ora9i/fengjie/agent/data/ipaagentdetail200410.txt'指明所要导入的源文件，其实源文件也可以直接通过命令行来输入获得 ，fj_ipa_agentdetail为目标表的名字，fields terminated ","是指源文件的各个字段是以逗号分隔，trailing nullcols表示遇到空字段依然写入到数据库表中，最后这５个字段是目标数据库表的字段结构。通过上面这个典型的控制文件的格式分析可知，控制文件需要与源文件的格式信息一致，否则导入数据会出现异常。
除了控制以外，sql*loader的还需要数据文件，即源文件。根据格式的不同，源文件可以分为固定字段长度和有分隔符这两大类，这里将分别说明这两种情况：固定字段长度的文本文件
就是每个字段拥有固定的字段长度，比如：
602530005922        1012
602538023138        1012
602536920355        1012
602531777166        1012
602533626494        1012
602535700601        1012有分隔符的文本文件
就是每个字段都有相同的分隔符分隔，比如：1001,上海长途电信综合开发公司,南京东路34号140室
1002,上海桦奇通讯科技有限公司,武宁路19号1902室 
1003,上海邦正科技发展有限公司,南京东路61号903室    对于上述两种文件格式sql*loader均可以做处理，下面就前面那个固定长度的文本来举例说明：
由于该文本只有两个字段，一个为设备号，一个是区局编号，两者的长度分别为２０和５，那么可以编制控制文件如下：
LOAD DATA 
    INFILE  '/ora9i/fengjie/agent/data/ipaagent200410.txt' 
    TRUNCATE
    INTO TABLE fj_ipa_agent
(         DEVNO      POSITION(1:20) CHAR,
          BRANCH_NO    POSITION(21:25) CHAR         
)
    其中，'/ora9i/fengjie/agent/data/ipaagent200410.txt'为该文件的完全路径，POSITION(M:N)表示该字段是从位置M到位置N。
对于有分隔符的数据文件，前面已经有一个例子，这里就不再赘述了。总之，使用Sql*Loader能够轻松将数据文件导入到数据库中，这种方法也是最常用的方法。
    二、 使用专业的数据抽取工具
   目前在数据仓库领域中，数据抽取与装载（ETL）是一重要的技术，这一技术对于一些大的数据文件或者文件数量较多尤其适合。这里简单介绍目前一款主流的数据抽取工具 ――Informatica。
该工具主要采用图形界面进行编程，其主要工作流程是：首先将源数据文件的结构（格式）导入为Informatica里，然后根据业务规则对该结构进行一定的转换(transformation)，最终导入到目标表中。
以上过程仅仅只是做了一个从源到目标的映射，数据的实际抽取与装载需要在工作流（workflow）里进行。
   使用专业的数据抽取工具，可以结合业务逻辑对多个源数据进行join,union,insect等操作，适合于大型数据库和数据仓库。
    三、 使用Access工具导入
可以直接在Access里选择‘打开‘文本文件，这样按照向导来导入一个文本文件到Access数据库中，然后使用编程的方法将其导入到最终的目标数据 库中。
这种方法虽然烦琐，但是其对系统的软件配置要求相对较低，所以也是有一定的使用范围。