关于一个数据导入的性能问题！！！！！！

Question

我有5万条数据要导入，数据库里的数据是10W，我导入数据要先判断是否与数据库重复，
如果重复不导入相应的数据，没有导入的给出错误提示！请问大家有什么好的解决方法？？我现在慢死了！！！！

Answer 1

什么数据库？
oracle中有 merge into这样的语法

Answer 2

估计楼住用的是程序吧
估计你是一次插入一条数据,首先判断是否重复,然后再插入吧
建议分批构造sql,比如几千条,重复判断在sql里解决,尽量减少数据库往还的次数,别忘了构造语句使用StringBuilder

Answer 3

全导入先，然后把重复的删除了就行了如果该表需要删除重复的记录（重复记录保留1条），可以按以下方法删除 select distinct * into #Tmp from tableName 
drop table tableName 
select * into tableName from #Tmp 
drop table #Tmp 另一种方法是一个字段重复,ID不重复delete 表 where id not in(
SELECT MAX(id) AS id FROM 表 GROUP BY rows) --- 删除重复行select * from 表 where id in(
SELECT MAX(id) AS id FROM 表 GROUP BY rows) --重复行只查询一条