想问下多线程,大数据量入库,每分钟多少条算快的?我现在1个线程读,10个线程,或者20个线程,30个线程入库,都是每分钟大概1W条,请问算快的吗?

解决方案 »

  1.   

    回复3楼,现在是每个县城一次批量插入1000条,自动提交。有10个插入线程是1分钟1W,20个线程还是1分钟1W。费解啊,不知瓶颈在哪里。c3p0的连接池也改过了,难道是mysql的并发限制???
      

  2.   

    除非你的电脑是多核CPU,否则话多线程插入数据并不会快一丝一毫,同理双核或者4核的话,你10个线程20个线程也都是一样的,同是工作的只有那么几个cpu
    如果想要真正的得到提升的话就要根据数据库做不同的方案,比如说oracle,直接路径+nologging插入
      

  3.   

    可以换成其他的方式试试,
    把所有东西(或部分量的数据)写入文件里,在load data infile 到mysql里.
      

  4.   

    #3楼说的很对
    你的瓶颈应该在事务上,你应该设置事务手动提交,
    然后在根据一部分的数据量来提交事务...比如1000每次  5000每次我记得我以前是有1W条数据  1200条左右一提交是比较快的.如果那个表需求是基本每分钟都是大数据量插入  那就应该换表的结构了 
    使用myisam来替换表结构  这个要看你们的需求了
      

  5.   

    公司开发人员中没有专门的数据库开发人员吗?写JAVA的人都要精通数据库吗?