场景:
A 、B 两个系统之间 进行数据交互同步 (通过txt文件交互, 由于数据量较大), A系统将数据写入文件当中, B系统将文件中的数据读取 入库, 保证两者之间的独立性。
由于需要做到增量更新,B系统需要记录 数据的操作类型(例如,此条数据为增加、还是修改、还是删除等), 这就需要将数据库的数据读取上来,进行比较, 可由于数据量较大,内存性能的开销无法解决, 想尝试使用批次读取的方式来比较集合, 可是这样仍然问题重重, 也曾想过使用版本号记录的方式来解决问题, 可带来的是频繁插入带来的性能开销! 大家在这样的情况下,都是怎样解决问题的呢?, 或者你有什么更好的建议,可以讨论讨论
听说 LDAP 上的信息数据 交互性就很大, 而且保证了数据的安全性和内存开销,而且性能要高于数据库, 没有使用过LDAP,烦请懂的人 指点一二.
A 、B 两个系统之间 进行数据交互同步 (通过txt文件交互, 由于数据量较大), A系统将数据写入文件当中, B系统将文件中的数据读取 入库, 保证两者之间的独立性。
由于需要做到增量更新,B系统需要记录 数据的操作类型(例如,此条数据为增加、还是修改、还是删除等), 这就需要将数据库的数据读取上来,进行比较, 可由于数据量较大,内存性能的开销无法解决, 想尝试使用批次读取的方式来比较集合, 可是这样仍然问题重重, 也曾想过使用版本号记录的方式来解决问题, 可带来的是频繁插入带来的性能开销! 大家在这样的情况下,都是怎样解决问题的呢?, 或者你有什么更好的建议,可以讨论讨论
听说 LDAP 上的信息数据 交互性就很大, 而且保证了数据的安全性和内存开销,而且性能要高于数据库, 没有使用过LDAP,烦请懂的人 指点一二.
虽然需要将 A系统的数据 完全覆盖B系统(除了主键), 但B系统的表里并不是只有A系统的数据 还可能有D 等其他系统的数据, 因此 吥能truncate!