表批量数据导入速 度问题，怎么优化?

Question

没有什么好的方法，用ms dts导入是一下

Answer 1

用dts是快呀，可是合法性判断怎么办?

Answer 2

合法性检查做的工作有：
1、拆开|之间的数据项
2、对每个数据项进行判断，不外乎是if len(name)<0 else...等

Answer 3

to javanew(我是java新手):
   如果要检查合法性，而且数据库又不认识文件的格式，我想在数据库端应该也没有什么比较好的解决办法了，当然，数据结构、索引等另当别论。
   不要小看你提到的两项检查合法性的工作，我觉得始终还是循环中某些步骤引起的速度问题。
   另外，如果允许的话，不妨把你的代码贴出来，看看大家有没有更好的办法。

Answer 4

先把全部数据导入，不管合不合法，然后对已有数据进行检查。如：
delete  table1 where sex<>0 or sex<>1 
后面可以加多几个条件

Answer 5

to tfxg
   这样怎么行，万一导入完成后，机器死机了怎么办，表中启不是有很多非法数据
to kuangning(郎之间) 
    简单的合法判断是可以用存储过程写的，如果我有个复杂的判断(比如des加密是否正确)，并且错误的数据需要写入本地文件这样的在存储过程如何写?

Answer 6

1。先检查合法性生成一个新的文件，计算一下时间，是否提高，
2。用参数，不用直接用sql ,这条挺关键，不停操作srings速度很慢。
3.你的速度太慢了,我导两个字段 一个20位的字符串，一个日期，一个小时能导100万，你的数据多些也不应该这么一点。
4。如果数据量比较大，主键不要选clustered.否则数据量大了插入一条可能就是你以前插入所有数据的时间。使用dts的方法，
先从数据库中导出为文本，看看文本的格式，然后把你的文本格式化的一样了，然后再用dts,如果需要对dts编程
http://www.csdn.net/cnshare/soft/13/13853.shtm