目前有一需求 ,,把数据存入数据库。根据需求,需要先判断表
1. table1(name varchar(primary key),strid text) 中是否有name='name' 的字段
  1.1 如果有,修改 strid=strid+'现在我要添加的数据'
  1.2 如果没有,insert into table1 values(name,text);以前做的方法速度太慢了(程序运行10多个小时---才插入,修改了44000条记录,我有30多个表,每个表上百万的记录,这样太慢了):
1.先select * from table1 where name ='';
2.判断是否取出数据,如果取出数据(有),则拼接字符串,修改  strid的值,
                    如果没有取出数据,则插入,根据我的应用的需要,基本是update的多,insert的较少,
能否通过  mysql自身来优化或者通过一句sql来优化?

解决方案 »

  1.   

    以前做的方法速度太慢了(程序运行10多个小时---才插入,修改了44000条记录,我有30多个表,每个表上百万的记录,这样太慢了):
    1.先select * from table1 where name ='';
    2.判断是否取出数据,如果取出数据(有),则拼接字符串,修改  strid的值,
                        如果没有取出数据,则插入, 
    一条记录 ,insert或者update需要2sec的时间,太长了!
      

  2.   

    你的方法已经很好了,数据量太大。 从SQL语句和你的方法上没什么可以优化了。name是PK,索引也有了。唯一能做的就是用分区表。
      

  3.   

    修改了一点要快很多了。。
    原来我当时建表的时候  name没有设置为primary key粗心了。!!
    改了primary key 以后,时间短了很多。大概200MS左右了!
      

  4.   


    如果是考虑mysql自身的优化,在网上看到一段文章,希望对你有帮助   随着数据量越来越大,MySQL自然成为瓶颈,因此最近在研究 MySQL 的优化,第一步自然想到的是 MySQL 系统参数的优化,作为一个访问量很大的数据库系统,不可能指望 MySQL 默认的系统参数能够让 MySQL运行得非常顺畅。 以下系统参数是比较关键的: (1)、back_log: 
      要求 MySQL 能有的连接数量。当主要MySQL线程在一个很短时间内得到非常多的连接请求,这就起作用,然后主线程花些时间(尽管很短)检查连接并且启动一个新线程。 
      back_log值指出在MySQL暂时停止回答新请求之前的短时间内多少个请求可以被存在堆栈中。只有如果期望在一个短时间内有很多连接,你需要增加它,换句话说,这值对到来的TCP/IP连接的侦听队列的大小。你的操作系统在这个队列大小上有它自己的限制。 试图设定back_log高于你的操作系统的限制将是无效的。 
      当你观察你的主机进程列表,发现大量 264084 | unauthenticated user | xxx.xxx.xxx.xxx | NULL | Connect | NULL | login | NULL 的待连接进程时,就要加大 back_log 的值了。默认数值是50,我把它改为500。 (2)、interactive_timeout: 
      服务器在关闭它前在一个交互连接上等待行动的秒数。一个交互的客户被定义为对 mysql_real_connect()使用 CLIENT_INTERACTIVE 选项的客户。 默认数值是28800,我把它改为7200。 (3)、key_buffer_size: 
      索引块是缓冲的并且被所有的线程共享。key_buffer_size是用于索引块的缓冲区大小,增加它可得到更好处理的索引(对所有读和多重写),到你能负担得起那样多。如果你使它太大,系统将开始换页并且真的变慢了。默认数值是8388600(8M),我的MySQL主机有2GB内存,所以我把它改为402649088(400MB)。 (4)、max_connections: 
      允许的同时客户的数量。增加该值增加 mysqld 要求的文件描述符的数量。这个数字应该增加,否则,你将经常看到 Too many connections 错误。 默认数值是100,我把它改为1024 。 (5)、record_buffer: 
      每个进行一个顺序扫描的线程为其扫描的每张表分配这个大小的一个缓冲区。如果你做很多顺序扫描,你可能想要增加该值。默认数值是131072(128K),我把它改为16773120 (16M) (6)、sort_buffer: 
      每个需要进行排序的线程分配该大小的一个缓冲区。增加这值加速ORDER BY或GROUP BY操作。默认数值是2097144(2M),我把它改为 16777208 (16M)。 (7)、table_cache: 
      为所有线程打开表的数量。增加该值能增加mysqld要求的文件描述符的数量。MySQL对每个唯一打开的表需要2个文件描述符。默认数值是64,我把它改为512。 (8)、thread_cache_size: 
      可以复用的保存在中的线程的数量。如果有,新的线程从缓存中取得,当断开连接的时候如果有空间,客户的线置在缓存中。如果有很多新的线程,为了提高性能可以这个变量值。通过比较 Connections 和 Threads_created 状态的变量,可以看到这个变量的作用。我把它设置为 80。 (10)、wait_timeout: 
      服务器在关闭它之前在一个连接上等待行动的秒数。 默认数值是28800,我把它改为7200。 注:参数的调整可以通过修改 /etc/my.cnf 文件并重启 MySQL 实现。这是一个比较谨慎的工作,上面的结果也仅仅是我的一些看法,你可以根据你自己主机的硬件情况(特别是内存大小)进一步修改。