千万级的数据在myqsl中,关于performance

Innodb的性能应该比myisam要好！还有，请注意索引的创建，可以用explain分析一下原因。

解决方案 »

  1.   

    是的,查了一下,myisam速度应更快一点,但其实innodb也差不多
    关于索引策略,会尝试添加新的index
    但实太慢,5小时加不了一个index对于有like语句的query,发现无法使用index,如'%abc%',但'abc%'可以打算创造更多临时表对付like语句分table也是必需了，1年约1000万条记录，没两三年，这个system就跑不动了个人感觉，其实mysql还是相当较快的，但如果有2cpu,2gb ram,加scsi，应跑得不错现在只能靠program层面上tunning
      

  2.   

    10.2.3 调节服务器参数
    你能用这个命令得到mysqld服务器缺省缓冲区大小： shell> mysqld --help这个命令生成一张所有mysqld选项和可配置变量的表。输出包括缺省值并且看上去象这样一些东西： Possible variables for option --set-variable (-O) are:
    back_log              current value: 5
    connect_timeout       current value: 5
    delayed_insert_timeout  current value: 300
    delayed_insert_limit  current value: 100
    delayed_queue_size    current value: 1000
    flush_time            current value: 0
    interactive_timeout   current value: 28800
    join_buffer_size      current value: 131072
    key_buffer_size       current value: 1048540
    lower_case_table_names  current value: 0
    long_query_time       current value: 10
    max_allowed_packet    current value: 1048576
    max_connections       current value: 100
    max_connect_errors    current value: 10
    max_delayed_threads   current value: 20
    max_heap_table_size   current value: 16777216
    max_join_size         current value: 4294967295
    max_sort_length       current value: 1024
    max_tmp_tables        current value: 32
    max_write_lock_count  current value: 4294967295
    net_buffer_length     current value: 16384
    query_buffer_size     current value: 0
    record_buffer         current value: 131072
    sort_buffer           current value: 2097116
    table_cache           current value: 64
    thread_concurrency    current value: 10
    tmp_table_size        current value: 1048576
    thread_stack          current value: 131072
    wait_timeout          current value: 28800如果有一个mysqld服务器正在运行，通过执行这个命令，你可以看到它实际上使用的变量的值： shell> mysqladmin variables每个选项在下面描述。对于缓冲区大小、长度和栈大小的值以字节给出，你能用于个后缀“K”或“M” 指出以K字节或兆字节显示值。例如，16M指出16兆字节。后缀字母的大小写没有关系；16M和16m是相同的。 你也可以用命令SHOW STATUS自一个运行的服务器看见一些统计。见7.21 SHOW语法(得到表、列的信息)。 back_log 
    要求MySQL能有的连接数量。当主要MySQL线程在一个很短时间内得到非常多的连接请求，这就起作用，然后主线程花些时间(尽管很短)检查连接并且启动一个新线程。back_log值指出在MySQL暂时停止回答新请求之前的短时间内多少个请求可以被存在堆栈中。只有如果期望在一个短时间内有很多连接，你需要增加它，换句话说，这值对到来的TCP/IP连接的侦听队列的大小。你的操作系统在这个队列大小上有它自己的限制。 Unix listen(2)系统调用的手册页应该有更多的细节。检查你的OS文档找出这个变量的最大值。试图设定back_log高于你的操作系统的限制将是无效的。 
    connect_timeout 
    mysqld服务器在用Bad handshake（糟糕的握手）应答前正在等待一个连接报文的秒数。 
    delayed_insert_timeout 
    一个INSERT DELAYED线程应该在终止之前等待INSERT语句的时间。 
    delayed_insert_limit 
    在插入delayed_insert_limit行后，INSERT DELAYED处理器将检查是否有任何SELECT语句未执行。如果这样，在继续前执行允许这些语句。 
    delayed_queue_size 
    应该为处理INSERT DELAYED分配多大一个队列(以行数)。如果排队满了，任何进行INSERT DELAYED的客户将等待直到队列又有空间了。 
    flush_time 
    如果这被设置为非零值，那么每flush_time秒所有表将被关闭(以释放资源和sync到磁盘)。 
    interactive_timeout 
    服务器在关上它前在一个交互连接上等待行动的秒数。一个交互的客户被定义为对mysql_real_connect()使用CLIENT_INTERACTIVE选项的客户。也可见wait_timeout。 
    join_buffer_size 
    用于全部联结(join)的缓冲区大小(不是用索引的联结)。缓冲区对2个表间的每个全部联结分配一次缓冲区，当增加索引不可能时，增加该值可得到一个更快的全部联结。（通常得到快速联结的最佳方法是增加索引。） 
    key_buffer_size 
    索引块是缓冲的并且被所有的线程共享。key_buffer_size是用于索引块的缓冲区大小，增加它可得到更好处理的索引(对所有读和多重写)，到你能负担得起那样多。如果你使它太大，系统将开始换页并且真的变慢了。记住既然MySQL不缓存读取的数据，你将必须为OS文件系统缓存留下一些空间。为了在写入多个行时得到更多的速度，使用LOCK TABLES。见7.24LOCK TABLES/UNLOCK TABLES语法。 
    long_query_time 
    如果一个查询所用时间超过它(以秒计)，Slow_queries记数器将被增加。 
    max_allowed_packet 
    一个包的最大尺寸。消息缓冲区被初始化为net_buffer_length字节，但是可在需要时增加到max_allowed_packet个字节。缺省地，该值太小必能捕捉大的(可能错误)包。如果你正在使用大的BLOB列，你必须增加该值。它应该象你想要使用的最大BLOB的那么大。 
    max_connections 
    允许的同时客户的数量。增加该值增加mysqld要求的文件描述符的数量。见下面对文件描述符限制的注释。见18.2.4 Too many connections错误。 
    max_connect_errors 
    如果有多于该数量的从一台主机中断的连接，这台主机阻止进一步的连接。你可用FLUSH HOSTS命令疏通一台主机。 
    max_delayed_threads 
    不要启动多于的这个数字的线程来处理INSERT DELAYED语句。如果你试图在所有INSERT DELAYED线程在用后向一张新表插入数据，行将被插入，就像DELAYED属性没被指定那样。 
    max_join_size 
    可能将要读入多于max_join_size个记录的联结将返回一个错误。如果你的用户想要执行没有一个WHERE子句、花很长时间并且返回百万行的联结，设置它。 
    max_sort_length 
    在排序BLOB或TEXT值时使用的字节数(每个值仅头max_sort_length个字节被使用；其余的被忽略)。 
    max_tmp_tables 
    （该选择目前还不做任何事情)。一个客户能同时保持打开的临时表的最大数量。 
    net_buffer_length 
    通信缓冲区在查询之间被重置到该大小。通常这不应该被改变，但是如果你有很少的内存，你能将它设置为查询期望的大小。（即，客户发出的SQL语句期望的长度。如果语句超过这个长度，缓冲区自动地被扩大，直到max_allowed_packet个字节。） 
    record_buffer 
    每个进行一个顺序扫描的线程为其扫描的每张表分配这个大小的一个缓冲区。如果你做很多顺序扫描，你可能想要增加该值。 
    sort_buffer 
    每个需要进行排序的线程分配该大小的一个缓冲区。增加这值加速ORDER BY或GROUP BY操作。见18.5 MySQL在哪儿存储临时文件。 
    table_cache 
    为所有线程打开表的数量。增加该值能增加mysqld要求的文件描述符的数量。MySQL对每个唯一打开的表需要2个文件描述符，见下面对文件描述符限制的注释。对于表缓存如何工作的信息，见10.2.4 MySQL怎样打开和关闭表。 
    tmp_table_size 
    如果一张临时表超出该大小，MySQL产生一个The table tbl_name is full形式的错误，如果你做很多高级GROUP BY查询，增加tmp_table_size值。 
    thread_stack 
    每个线程的栈大小。由crash-me测试检测到的许多限制依赖于该值。缺省队一般的操作是足够大了。见10.8 使用你自己的基准。 
    wait_timeout 
    服务器在关闭它之前在一个连接上等待行动的秒数。也可见interactive_timeout。 
    MySQL使用是很具伸缩性的算法，因此你通常能用很少的内存运行或给MySQL更多的被存以得到更好的性能。 如果你有很多内存和很多表并且有一个中等数量的客户，想要最大的性能，你应该一些象这样的东西： shell> safe_mysqld -O key_buffer=16M -O table_cache=128 \
               -O sort_buffer=4M -O record_buffer=1M &如果你有较少的内存和大量的连接，使用这样一些东西： 
    shell> safe_mysqld -O key_buffer=512k -O sort_buffer=100k \
               -O record_buffer=100k &或甚至： 
    shell> safe_mysqld -O key_buffer=512k -O sort_buffer=16k \
               -O table_cache=32 -O record_buffer=8k -O net_buffer=1K &如果有很多连接，“交换问题”可能发生，除非mysqld已经被配置每个连接使用很少的内存。当然如果你对所有连接有足够的内存，mysqld执行得更好。 注意，如果你改变mysqld的一个选项，它实际上只对服务器的那个例子保持。 
    为了明白一个参数变化的效果，这样做： 
    shell> mysqld -O key_buffer=32m --help
    保证--help选项是最后一个；否则，命令行上在它之后列出的任何选项的效果将不在反映在输出中。
      

  3.   

    更多性能相关的资料请参见《MySQL中文参考手册》的第10章-Getting Maximum Performance from MySQL（从MySQL得到最大的性能）。
      

  4.   

    什么机器，多大内存，我的数据库表里面有200万记录，count一次才0.03秒。当然我的表结构非常简单，只由一个50字节的char和bigint两个字段。想调整快很多大概不可能。稍微快点的方法是增加内存和buffer的大小；用工具优化表文件的存储。
      

  5.   

    同样是200万记录的同样的表在windows上面count要0.06秒。看来，做服务器还是linux快啊。
      

  6.   

    2.4GBXeron 1GB Ram,约256mb pool cache数据库data 7GB上面讲的tune cache参数,已经做了,基本的index虽然有,但要想再加index 来tune where 语句的条件,则比较困难,5个小时都加不上去,数据量太大了
      

  7.   

    测试报告测试模块：inno类型表与myisam类型的性能（插入数据和查询数据的速度）
      inno类型表支持事务查询
      myisam不支持事务查询
    测试方法:
    在本地计算机建立控制应用程序,在建192.168.1.10上分别建立两种类型的表
    (test_1为innto类型表;test_2为myisam类型表)
    测试过程:
    插入数10条
    inno   类型表:
    共用时:9324微秒
    平均每条用时:932.400000微秒
    myisam 类型表:
    共用时:9883微秒
    平均每条用时:988.300000微秒
    插入数据50条
    inno   类型表:
    共用时:43732微秒
    平均每条用时:874.640000微秒
    myisam 类型表:
    共用时:47395微秒
    平均每条用时:947.900000微秒
    插入数据5000条
    inno   类型表:
    共用时:4210188微秒
    平均每条用时:842.037600微秒
    myisam 类型表:
    共用时:4472983微秒
    平均每条用时:894.596600微秒插入数据10000条
    inno   类型表:
    共用时:8441673微秒
    平均每条用时:844.167300微秒
    myisam 类型表:
    共用时:8938601微秒
    平均每条用时:893.860100微秒
    插入数据50000条
    inno   类型表:
    共用时:42527265微秒
    平均每条用时:850.545300微秒
    myisam 类型表:
    共用时:46141635微秒
    平均每条用时:922.832700微秒
    插入数据200000条
    inno   类型表:
    共用时:178515037微秒
    平均每条用时:892.575185微秒
    myisma 类型表:
    共用时:178030068微秒
    平均每条用时:890.150340微秒
    查询速度测试：
    查试语句
    sql = "select count(*) from test_1";//test_1为inno类型表
    sql = "select count(*) from test_2";//test_2为inno类型表第一次：
    inno   类型表:
    共用时:3058024微秒
    平均每条用时:3058.024000微秒
    myisma 类型表:
    共用时:6585微秒
    平均每条用时:6.585000微秒
    第二次:
    inno   类型表:
    共用时:3146966微秒
    平均每条用时:3146.966000微秒
    myisma 类型表:
    共用时:7622微秒
    平均每条用时:7.622000微秒测试结果：
    在插入数据方面：inno类型表比myisam稍微快一点。大约20微秒左右。
    在查询数据方面：myisam是最快的。比inno类型表快大约6000~7000微秒
      

  8.   

    不知道CSDN上的全文查找是如何实现的,感觉非常非常快
    select中的like实在太慢了