每天定时调用接口传输5万条数据。这个需要什么技术呢？新手，求思路和关键词~~谢谢

Question

每天定时调用接口传输5万条数据。这个需要什么技术呢？新手，求思路和关键词~~谢谢

Answer 1

那这些数据具体怎么传有哪些方式呢，是一条一条传5万次，还是说别的方法？是不是可以写在job里？

Answer 2

一条一条估计没多久就出问题了。我们当时是导出300万到一个txt，然后传过去再用DTS导入这个txt

Answer 3

--如果你能一次性把你要插入的数据组织好，那就一次性插入吧，搞成job，作业都行
insert into
          FROM OpenDataSource('sqloledb', 'Data  Source= "*.*.*.*";User ID=sa;Password=***').[DEVTEST].[dbo].[Person]) 
       (SELECT *
          FROM OpenDataSource('sqloledb', 'Data  Source= *.*.*.*";User ID=sa;Password=123qwe!@#').[MyTestDataBase].[dbo].[Person1]) 

Answer 4

DTS这种方法可能不被批准，我们有规定跨系统的数据传输都要通过 ESB企业服务总线

Answer 5

LZ方法路径都定了，只要依循esb的要求即可。5万左右的数据量并不是很大，关键看跟现有业务是否有冲突，
无冲突直传即可。 有冲突，可以考虑压缩.