有个问题想请教一下,我现在有个稳定没五秒钟会更新一次数据(3000条),需要保证和数据库同步;每条记录在SQL中对应两张表,需要将这6千张表在五秒内更新。
我想用批量插入(比如BULK),但是只能先存在一张表再拆分(这样效率也会很低),而且从这些文件获取到的数据我需要做一些加工才能存放到相应的表中,现在暂时没有找到好的解决办法,不知道有没有人有过类似的经历,请指点迷津,谢谢!
我做个几个测试:
单独执行一条数据(存储过程),需要129ms,可想而知3000条就不满足了;
如果在SQL里循环执行,需要12秒;
直接通过BULK更新一张表,只需要1791ms,效率是很高,不过怎么样拆分,或者说即便是拆分出去了,还是会影响效率;当然还是就是多弄几台服务器(分布式),但是我想的是现在的计算也很简单,还是想看看能不能在一台服务器上做文章。看看有没有人有过类似的经验可以提供,谢谢!
我想用批量插入(比如BULK),但是只能先存在一张表再拆分(这样效率也会很低),而且从这些文件获取到的数据我需要做一些加工才能存放到相应的表中,现在暂时没有找到好的解决办法,不知道有没有人有过类似的经历,请指点迷津,谢谢!
我做个几个测试:
单独执行一条数据(存储过程),需要129ms,可想而知3000条就不满足了;
如果在SQL里循环执行,需要12秒;
直接通过BULK更新一张表,只需要1791ms,效率是很高,不过怎么样拆分,或者说即便是拆分出去了,还是会影响效率;当然还是就是多弄几台服务器(分布式),但是我想的是现在的计算也很简单,还是想看看能不能在一台服务器上做文章。看看有没有人有过类似的经验可以提供,谢谢!
不过我现在也没有想到好的解决办法,如果用程序去代替SQL操作效率肯定会要打些折扣,所以我还是想先在数据库这端寻求解决办法。