一个txt文件1.2G 现在我们要做的就是把txt文本的数据
全放到数据里面去.
txt是很规范的
我可以看成用mssql的导出到txt文本中 现在又要把这些数据导入到
数据中去.此时我们要用自己的程序完成
下面是我的思路
单纯算法相对于这个我一定不行.只能想别的方法.
1.一行一行的读 很两百哐更多条提交一次.光记取文件就要很时间了 <速度太慢>
2.多线程对文本.读取但还是通不过. 每两百条提交一次.. <多线程对文本可能会有出数据库丢失>
3.通过 BULK INSERT 这个行不通 <因为BULK INSERT需要bcp进行数据处理的才可以使用这个方法>
4.直接调用sql server 20000 的导入导出com组件 相对不灵活.转到Oracle Mysql可能就行不通了 <不过现阶段我只能用些方法实现>
读取日志如下
大容量复制已成功完成。
源: C:\exported.txt
目标: [dbo].[myTestUniNativeData]
已复制的行数: 108035
大容量复制持续时间: 0 分钟 12.204 秒
这样看来对于接近亿条的数据还是很慢的.
不知道大家还有别的方法不
语言不限
全放到数据里面去.
txt是很规范的
我可以看成用mssql的导出到txt文本中 现在又要把这些数据导入到
数据中去.此时我们要用自己的程序完成
下面是我的思路
单纯算法相对于这个我一定不行.只能想别的方法.
1.一行一行的读 很两百哐更多条提交一次.光记取文件就要很时间了 <速度太慢>
2.多线程对文本.读取但还是通不过. 每两百条提交一次.. <多线程对文本可能会有出数据库丢失>
3.通过 BULK INSERT 这个行不通 <因为BULK INSERT需要bcp进行数据处理的才可以使用这个方法>
4.直接调用sql server 20000 的导入导出com组件 相对不灵活.转到Oracle Mysql可能就行不通了 <不过现阶段我只能用些方法实现>
读取日志如下
大容量复制已成功完成。
源: C:\exported.txt
目标: [dbo].[myTestUniNativeData]
已复制的行数: 108035
大容量复制持续时间: 0 分钟 12.204 秒
这样看来对于接近亿条的数据还是很慢的.
不知道大家还有别的方法不
语言不限
将10万条数据放到数据库去只要12s
我现在另有一方案..可惜没人顶呀.