数据量大于1亿条以上的记录,要做一个数据转移
现在考虑是放在一张表格,还是分开多个表格,
如果是多个表格,插入的速度是否受到数据库链接数的限制?如果是,该如何解决(数据库只能是MYSQL)?
如果是单个表格,同时开多个inserting的job能不能加快速度?
如果大家还有别的想法也请指教,谢谢
现在考虑是放在一张表格,还是分开多个表格,
如果是多个表格,插入的速度是否受到数据库链接数的限制?如果是,该如何解决(数据库只能是MYSQL)?
如果是单个表格,同时开多个inserting的job能不能加快速度?
如果大家还有别的想法也请指教,谢谢
hostB机安装mysql数据库,没有TestA数据库
方法步骤:
启动phpMyAdmin察看HostA和HostB中的数据库列表,在HostB中没有TestA数据库
找到HostA中mysql的安装目录,并找到数据库目录data
在我的试验环境中,这个目录是
C:mysqldata
找到对应数据库名称的子目录
C:mysqldataTestA
粘贴拷贝到HostB的Data目录下,是HostA同HostB Mysql数据目录下的文件相同 刷新HostB的phpMyAdmin察看一下数据库列表,我们看到TestA已经出现,并且作查询修改等操作都正常,备份恢复恢复成功 试验结论:Mysql的数据库可以通过文件形式保存,备份,恢复只要将相应文件目录恢复即可,无需使用其它工具备份。 二、正规的方法(官方建议): 导出要用到MySQL的mysqldump工具,基本用法是: mysqldump [OPTIONS] database [tables] 如果你不给定任何表,整个数据库将被导出。 通过执行mysqldump --help,你能得到你mysqldump的版本支持的选项表。 注意,如果你运行mysqldump没有--quick或--opt选项,mysqldump将在导出结果前装载整个结果集到内存中,如果你正在导出一个大的数据库,这将可能是一个问题。 mysqldump支持下列选项: --add-locks
在每个表导出之前增加LOCK TABLES并且之后UNLOCK TABLE。(为了使得更快地插入到MySQL)。
--add-drop-table
在每个create语句之前增加一个drop table。
--allow-keywords
允许创建是关键词的列名字。这由在列名前面加表名的方法做到。
-c, --complete-insert
使用完整的insert语句(用列名字)。
-C, --compress
如果客户和服务器均支持压缩,压缩两者间所有的信息。
--delayed
用INSERT DELAYED命令插入行。
-e, --extended-insert
使用全新多行INSERT语法。(给出更紧缩并且更快的插入语句)
-#, --debug[=option_string]
跟踪程序的使用(为了调试)。
--help
显示一条帮助消息并且退出。
--fields-terminated-by=...
--fields-enclosed-by=...
--fields-optionally-enclosed-by=...
--fields-escaped-by=...
--fields-terminated-by=...
这些选择与-T选择一起使用,并且有相应的LOAD DATA INFILE子句相同的含义。
LOAD DATA INFILE语法。
-F, --flush-logs
在开始导出前,洗掉在MySQL服务器中的日志文件。
-f, --force,
即使我们在一个表导出期间得到一个SQL错误,继续。
-h, --host=..
从命名的主机上的MySQL服务器导出数据。缺省主机是localhost。
-l, --lock-tables.
为开始导出锁定所有表。
-t, --no-create-info
不写入表创建信息(CREATE TABLE语句)
-d, --no-data
不写入表的任何行信息。如果你只想得到一个表的结构的导出,这是很有用的!
--opt
同--quick --add-drop-table --add-locks --extended-insert --lock-tables。
应该给你为读入一个MySQL服务器的尽可能最快的导出。
-pyour_pass, --password[=your_pass]
与服务器连接时使用的口令。如果你不指定“=your_pass”部分,mysqldump需要来自终端的口令。
-P port_num, --port=port_num
与一台主机连接时使用的TCP/IP端口号。(这用于连接到localhost以外的主机,因为它使用 Unix套接字。)
-q, --quick
不缓冲查询,直接导出至stdout;使用mysql_use_result()做它。
-S /path/to/socket, --socket=/path/to/socket
与localhost连接时(它是缺省主机)使用的套接字文件。
-T, --tab=path-to-some-directory
对于每个给定的表,创建一个table_name.sql文件,它包含SQL CREATE 命令,和一个table_name.txt文件,它包含数据。 注意:这只有在mysqldump运行在mysqld守护进程运行的同一台机器上的时候才工作。.txt文件的格式根据--fields-xxx和--lines--xxx选项来定。
-u user_name, --user=user_name
与服务器连接时,MySQL使用的用户名。缺省值是你的Unix登录名。
-O var=option, --set-variable var=option
设置一个变量的值。可能的变量被列在下面。
-v, --verbose
冗长模式。打印出程序所做的更多的信息。
-V, --version
打印版本信息并且退出。
-w, --where='where-condition'
只导出被选择了的记录;注意引号是强制的!
"--where=user='jimf'" "-wuserid>1" "-wuserid<1" 最常见的mysqldump使用可能制作整个数据库的一个备份: mysqldump --opt database > backup-file.sql 但是它对用来自于一个数据库的信息充实另外一个MySQL数据库也是有用的: mysqldump --opt database | mysql --host=remote-host -C database 由于mysqldump导出的是完整的SQL语句,所以用mysql客户程序很容易就能把数据导入了: mysqladmin create target_db_name
mysql target_db_name < backup-file.sql
那么首先在B机器上安装MYSQL 数据库并建立test
然后复制A机器上数据库文件夹中的test文件夹 到B机器上覆盖原来的test文件夹 既可
注意:如果是LINUX 操作系统 那么要赋予文件以及文件夹相关权限.在LINUX 4.0 AS版 MYSQL4.1 下测试通过 数据库数据大小500M 左右
由于INNODB是行级锁定。所以开启并发INSERT会加快速度。
2、由于你不需要读取。所以单个表速度是最快的。
由于我的数据是从单个文件中获取出来然后插入到数据库中,所以没有原始的数据库文件,我开始没说清楚,不好意思
回分表的做法:
我分成N个表然后做插入,发现和我用一个表同时运行N个job的效率差不多,但是我在建表的时候采用的是默认类型,表格类型对插入速度影响有多少?我是初学者,请多指教
回disable index的做法:
我没有来得及做,因为我在设置了PRIMARY KEY,这个很影响插入速度吗?
回杨涛涛:
表引擎的问题不是很清楚,如何设置为INNODB谢谢