数据量大于1亿条以上的记录,要做一个数据转移
现在考虑是放在一张表格,还是分开多个表格,
如果是多个表格,插入的速度是否受到数据库链接数的限制?如果是,该如何解决(数据库只能是MYSQL)?
如果是单个表格,同时开多个inserting的job能不能加快速度?
如果大家还有别的想法也请指教,谢谢

解决方案 »

  1.   

    不知道楼主是什么样的系统平台,我的建议是直接复制数据库文件,这样速度最快,如果是innodb数据表一定要拷贝日志文件;MySQL备份恢复的说明:一、数据备份捷径 在hostA中安装mysql数据库并建立TestA数据库 
    hostB机安装mysql数据库,没有TestA数据库 
    方法步骤: 
    启动phpMyAdmin察看HostA和HostB中的数据库列表,在HostB中没有TestA数据库 
    找到HostA中mysql的安装目录,并找到数据库目录data 
    在我的试验环境中,这个目录是 
    C:mysqldata 
    找到对应数据库名称的子目录 
    C:mysqldataTestA 
    粘贴拷贝到HostB的Data目录下,是HostA同HostB Mysql数据目录下的文件相同 刷新HostB的phpMyAdmin察看一下数据库列表,我们看到TestA已经出现,并且作查询修改等操作都正常,备份恢复恢复成功 试验结论:Mysql的数据库可以通过文件形式保存,备份,恢复只要将相应文件目录恢复即可,无需使用其它工具备份。 二、正规的方法(官方建议): 导出要用到MySQL的mysqldump工具,基本用法是:  mysqldump [OPTIONS] database [tables]  如果你不给定任何表,整个数据库将被导出。  通过执行mysqldump --help,你能得到你mysqldump的版本支持的选项表。  注意,如果你运行mysqldump没有--quick或--opt选项,mysqldump将在导出结果前装载整个结果集到内存中,如果你正在导出一个大的数据库,这将可能是一个问题。  mysqldump支持下列选项:  --add-locks  
    在每个表导出之前增加LOCK TABLES并且之后UNLOCK TABLE。(为了使得更快地插入到MySQL)。  
    --add-drop-table  
    在每个create语句之前增加一个drop table。  
    --allow-keywords  
    允许创建是关键词的列名字。这由在列名前面加表名的方法做到。  
    -c, --complete-insert  
    使用完整的insert语句(用列名字)。  
    -C, --compress  
    如果客户和服务器均支持压缩,压缩两者间所有的信息。  
    --delayed  
    用INSERT DELAYED命令插入行。  
    -e, --extended-insert  
    使用全新多行INSERT语法。(给出更紧缩并且更快的插入语句)  
    -#, --debug[=option_string]  
    跟踪程序的使用(为了调试)。  
    --help  
    显示一条帮助消息并且退出。  
    --fields-terminated-by=...  
    --fields-enclosed-by=...  
    --fields-optionally-enclosed-by=...  
    --fields-escaped-by=...  
    --fields-terminated-by=...  
    这些选择与-T选择一起使用,并且有相应的LOAD DATA INFILE子句相同的含义。  
    LOAD DATA INFILE语法。  
    -F, --flush-logs  
    在开始导出前,洗掉在MySQL服务器中的日志文件。  
    -f, --force,  
    即使我们在一个表导出期间得到一个SQL错误,继续。  
    -h, --host=..  
    从命名的主机上的MySQL服务器导出数据。缺省主机是localhost。  
    -l, --lock-tables.  
    为开始导出锁定所有表。  
    -t, --no-create-info  
    不写入表创建信息(CREATE TABLE语句)  
    -d, --no-data  
    不写入表的任何行信息。如果你只想得到一个表的结构的导出,这是很有用的!  
    --opt  
    同--quick --add-drop-table --add-locks --extended-insert --lock-tables。  
    应该给你为读入一个MySQL服务器的尽可能最快的导出。  
    -pyour_pass, --password[=your_pass]  
    与服务器连接时使用的口令。如果你不指定“=your_pass”部分,mysqldump需要来自终端的口令。  
    -P port_num, --port=port_num  
    与一台主机连接时使用的TCP/IP端口号。(这用于连接到localhost以外的主机,因为它使用 Unix套接字。)  
    -q, --quick  
    不缓冲查询,直接导出至stdout;使用mysql_use_result()做它。  
    -S /path/to/socket, --socket=/path/to/socket  
    与localhost连接时(它是缺省主机)使用的套接字文件。  
    -T, --tab=path-to-some-directory  
    对于每个给定的表,创建一个table_name.sql文件,它包含SQL CREATE 命令,和一个table_name.txt文件,它包含数据。 注意:这只有在mysqldump运行在mysqld守护进程运行的同一台机器上的时候才工作。.txt文件的格式根据--fields-xxx和--lines--xxx选项来定。  
    -u user_name, --user=user_name  
    与服务器连接时,MySQL使用的用户名。缺省值是你的Unix登录名。  
    -O var=option, --set-variable var=option 
    设置一个变量的值。可能的变量被列在下面。  
    -v, --verbose  
    冗长模式。打印出程序所做的更多的信息。  
    -V, --version  
    打印版本信息并且退出。  
    -w, --where='where-condition'  
    只导出被选择了的记录;注意引号是强制的!  
    "--where=user='jimf'" "-wuserid>1" "-wuserid<1"  最常见的mysqldump使用可能制作整个数据库的一个备份:  mysqldump --opt database > backup-file.sql  但是它对用来自于一个数据库的信息充实另外一个MySQL数据库也是有用的:  mysqldump --opt database | mysql --host=remote-host -C database  由于mysqldump导出的是完整的SQL语句,所以用mysql客户程序很容易就能把数据导入了:  mysqladmin create target_db_name  
    mysql target_db_name < backup-file.sql 
      

  2.   

    insert 的时候disable index
      

  3.   

    我认为最简单的方法是直接复制数据库文件到另外一个机器上.例如A机器 数据库test 想转移到B机器上 数据库test
    那么首先在B机器上安装MYSQL 数据库并建立test 
    然后复制A机器上数据库文件夹中的test文件夹 到B机器上覆盖原来的test文件夹 既可 
    注意:如果是LINUX 操作系统 那么要赋予文件以及文件夹相关权限.在LINUX 4.0 AS版 MYSQL4.1 下测试通过 数据库数据大小500M 左右
      

  4.   

    嗯我建议是分表,而且表类型是MyISAM.
      

  5.   

    用程序分表,做一个hash函数可以快不少不过相应增加了复杂度。楼主的数据量是多少,时间要求如何。想简单的话就升级机器吧
      

  6.   

    1、对于这样的需求,确保你的表引擎为INNODB。
    由于INNODB是行级锁定。所以开启并发INSERT会加快速度。
    2、由于你不需要读取。所以单个表速度是最快的。
      

  7.   

    回复制数据库文件的方法:
    由于我的数据是从单个文件中获取出来然后插入到数据库中,所以没有原始的数据库文件,我开始没说清楚,不好意思
    回分表的做法:
    我分成N个表然后做插入,发现和我用一个表同时运行N个job的效率差不多,但是我在建表的时候采用的是默认类型,表格类型对插入速度影响有多少?我是初学者,请多指教
    回disable index的做法:
    我没有来得及做,因为我在设置了PRIMARY KEY,这个很影响插入速度吗?
    回杨涛涛:
    表引擎的问题不是很清楚,如何设置为INNODB谢谢
      

  8.   

    给你一个例子create table 表名(...) engine innodb;对于INNODB引擎,屏蔽掉约束和不屏蔽作用不大。
      

  9.   

    谢谢各位给的建议,现在表已经建立,就是默认类型,主键也设置了,我没法改变表格结构。我发现同时用三个process来进行插入工作速度最快,可惜不知道理由