大家赶快过来围观，你们是咋处理这个问题的呢？

Question

定时程序，每隔固定的一段时间，去扫描文件，将读取的信息插入数据库。因为每隔一段时间就会扫描并插入数据库，产生了大量重复数据。
我想问一下有没有前辈，遇到过这类问题，是怎么解决的呢?
最好是在java程序里处理

Answer 1

 我的想法是建利用数据库表中某个字段，加上唯一约束，但是老大说不让这么干。也没给个好方法。程序要部署到unix服务器上，可能人家把文件传到我们的服务器上，也可能是我们去访问人家读取文件后插入数据库

Answer 2

比如别的系统下发了一个文件budget.xml。里面有n条信息。我的定时任务是没2小时运行扫描一次，那么只要这个文件在，每次扫描，就会插入这n条数据到数据库，你说会不会出现重复数据。

Answer 3

入库部分用存储过程处理；
然后存储过程在处理数据入库的时候做insert和update判断。做历史数据存储？在数据级做处理，不要在文件级做。