最近在搞一个数据挖掘的东西,需要把大量的数据不停的插入数据库中,数据的获取速度很快,但是数据库插入的速度有些跟不上,做过这方面优化的朋友请给点意见,谢谢。

解决方案 »

  1.   

    使用LOAD DATA取消索引,等数据加载完后再重建索引。
      

  2.   

    优化插入的方法:
    1:如果同时从同一个客户端插入很多行,使用含多个VALUE的INSERT语句同时插入几行。这比使用单行INSERT语句快(在某些情况下快几倍)。如果你正向一个非空表添加数据,可以调节bulk_insert_buffer_size变量,使数据插入更快。2:如果你从不同的客户端插入很多行,能通过INSERT DELAYED语句加快速度。3:当从一个文本文件装载一个表时,使用LOAD DATA INFILE。这通常比使用很多INSERT语句快20倍。4:锁定表可以加速用多个语句执行的INSERT操作:LOCK TABLES a WRITE; 
    INSERT INTO a VALUES (1,23),(2,34),(4,33); 
    INSERT INTO a VALUES (8,26),(6,29); 
    UNLOCK TABLES; 这样性能会提高,因为索引缓存区仅在所有INSERT语句完成后刷新到磁盘上一次。一般有多少INSERT语句即有多少索引缓存区刷新。如果能用一个语句插入所有的行,就不需要锁定。对于事务表,应使用BEGIN和COMMIT代替LOCK TABLES来加快插入。锁定也将降低多连接测试的整体时间,尽管因为它们等候锁定最大等待时间将上升。6:为了对LOAD DATA INFILE和INSERT在MyISAM表得到更快的速度,通过增加key_buffer_size系统变量来扩大 键高速缓冲区。