目前有4个库
Config 配置库
A      数据源库
B      数据处理库
C      Web数据库目前的流程是,
1.数据会先进入A,
2.然后从A进入B,
3.在B库会做数据处理,包括过滤,和分类,以及打搜索索引
4.把数据导入C库以上4部全部自动化定时处理.业务难点:
1.由于数据源中的数据可能有错误,因此1,2,3,4部都有可能删除重新来,并且,可能删除指定时间段的错误信息比如,删除昨天的,凌晨1点到5点时,进入A库的所有信息2.第3步,由于过滤与分类的规则是预先定义好的,规则可能会修改,所以,当规则修改以后,也可能会把之前的一部分数据删除掉,然后重新过滤重新分类,再重新执行第4步,并且这个操作,会经常做问题:
想请教下,如何可以灵活的删除数据重新导入下一个环节.?如何实现化删除后,自动重新跑Sql Server数据迁移

解决方案 »

  1.   

    SSIS这个东西听过没?把业务逻辑放到这里实现
      

  2.   

    感谢回复,我刚刚查了下资料 ssis确实是个很强大的工具,应该可以满足需求,但是如何实现数据删除后,重新导入呢.?能否介绍下数据迁移的解决思路呢.?
      

  3.   

    那还有一个方法,把这些“导入”的数据先放到一个临时表,然后进行判断,有问题就删除,没问题就插入,其实这些逻辑放到sql实现就可以了,SSIS用来控制流程最好
      

  4.   

    我觉得你应该对每条数据进行编号,这个编号估计要用varchar型,不能用整型。删除也不要真删除,用一个标志字段进行标志,这样就知道哪些数据被删除了,然后可以重新导入。此外,为了防止数据量冗余太多,可以定期清理一个月之前的已标志为删除的数据。
      

  5.   

    从设计上实现,记录下数据源的时间点与SEQ,后续是删除还是处理就有据可依了,写SP定期处理