PSQL COPY性能这么差劲?差了mysql十万八千里?! PSQL区人实在太少了,特跑到mysql区向高人求证 解决方案 » 免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货 没什么,各种软件产品自然有它的优点,缺点。 如果一种产品对另一种产品全是缺点,那肯定会被市场淘汰。LOAD DATA这种毕竟不是数据库产品的主要功能,数据库系统的主要衡量是看对标准SQL的性能效率,以及其它方面的考核比如,安全,事务完整性,等等。如果要分析为什么PSQL,MYSQL在LOAD DATA上的差异,则最好的办法就去看这两个数据库的源代码分析各采取了什么机制来实现LOAD功能。 我实在是想验证一下,是不是我有些参数不知道,但psql资料实在少,查不出什么东西,所以到这里来找高人 还是那句话 没可比性 和sqlserver oracle是也试试 同样时间不同 可影响测试的东西很多。比如MYSQL中的许多设置也会影响到LOAD DATA, 存储引擎是什么? 事务是否支持? 内存区的大小? 文件初始大小?。。等等。设计一下实验,需要先从理论上了解一下产品的特性。 而最好的方法就是先看一下源代码。 怎么总是没可比性,sqlserver oracle我是没环境,你有麻烦你测试一下 这个是对的,mysql我是可以有优化的,问题是我现在找psql的copy优化经验 postgresql.conf文件当中有几个批量装载相关的参数maintenance_work_mem checkpoint_segments autovacuum Wal_buffers 等等 查看先相关文档 如果实在效果不行 可尝试使用外部工具pg_bulkload 3q,maintenance_work_mem checkpoint_segments autovacuum Wal_buffers 这3个参数调整了哦,效果不大,我实验下pg_bulkload postgresql 里面肯定是copy 最快了,没有更快的了。 postgresql 什么东西都在文档了,要load数据参考 http://www.postgresql.org/docs/9.3/static/populate.html主键,索引会影响速度。 另外如果mysql用的引擎是MyISAM,速度会更快些。另外postgresql的 archive备份设置,已经 replication (你应该没有设置) 也会影响。最好 copy 有几种格式,cvs和text。 但是这个差别估计不大。我现在在转移2kw的数据到psql, 先导出到文本,再从文本 copy到psql。 现在过了一个小时了,才导出400w,等下psql导入如果还是这么慢的话我今晚就睡不好了。 mysql的log问题 一张表,如何按照from、to取得每个对应的最新一条记录?不好描述,详情请进,谢谢! MySql里怎么得到所有表的字段名称 求一种快速的方法...... 语句优化问题 如何mysql批量导入EXCEL表的数据? 用Dev-Cpp搭建MySQL++编程环境,最后没有产生libmysql.dll…… 如何得到没有相同字段的记录 表的更新的一个问题 oracle迁移到mysql如何解决rownum?? 感觉这两种差不多,但还是想问下:到底是设置联合索引好,还是分开设置索引好? 两个表联合查询,有记录无法查询出来
我实在是想验证一下,是不是我有些参数不知道,但psql资料实在少,查不出什么东西,所以到这里来找高人
比如MYSQL中的许多设置也会影响到LOAD DATA, 存储引擎是什么? 事务是否支持? 内存区的大小? 文件初始大小?。。等等。设计一下实验,需要先从理论上了解一下产品的特性。 而最好的方法就是先看一下源代码。
这个是对的,mysql我是可以有优化的,问题是我现在找psql的copy优化经验
postgresql 什么东西都在文档了,要load数据参考 http://www.postgresql.org/docs/9.3/static/populate.html主键,索引会影响速度。 另外如果mysql用的引擎是MyISAM,速度会更快些。
另外postgresql的 archive备份设置,已经 replication (你应该没有设置) 也会影响。
最好 copy 有几种格式,cvs和text。 但是这个差别估计不大。我现在在转移2kw的数据到psql, 先导出到文本,再从文本 copy到psql。 现在过了一个小时了,才导出400w,等下psql导入如果还是这么慢的话我今晚就睡不好了。