做一个数据分析利用的系统,数据来源于生产系统,生产系统中包含全省的数据,目前分析利用系统只作为本人所在地市使用,因此数据只采集生产系统中涉及本市的数据,采集方式采用存储过程通过DBLINK实现,涉及到的表大约100张,目前存在一些问题不知如何解决,请高手多多帮忙。
问题如下:
    1、对于源数据库中新增及发生变更数据可通过表中的录入日期及修改日期字段比较容易确定采集范围,但如果源数据中发生了删除操作,那么如何确定目标数据中要删除的这些记录。因数据量较大,如果采用全表比对方式性能是否太差,有无更好解决办法。在源数据库中通过触发器的方式不想考虑,因为生产系统不会提供此类权限。
    2、有没有好的方式来更好地控制数据采集过程,记录采集日志。采集日志表的结构怎样比较合理。
    因本人数据库水平有限恳请有经验的朋友多多帮忙。