大数据量更新问题 mysql

Question

问题描述：需要从一个网站采集数据，可以满足高并发的接口。
现在大概需要发送10000条请求，获取到的xml文件解析后插入数据库，每个xml文件大致有40条数据。现在解决方式：
jdbc+数据库连接池 20个并发连接
用100个线程发送请求问题：
一开始效率比较高，更新到一半左右的时候更新速度变得很慢。

Answer 1

你的插入形式是insert ... values (),(),.;还是直接insert ...values(); insert ... values()...;插入之前都disable_keys 完了后再enable_keys;

Answer 2

我现在采取的插入形式是insert ...values(); 因为并不是每条数据都是需要插入的，大部分数据是update;插入之前都disable_keys 完了后再enable_keys; 是这样做的

Answer 3

你看过 mysqldump 导出来的数据吗？
导出来一个表然后打开看看就知道怎么干了！

Answer 4

事务只能保持ACID,不能保证写数据的速度！用保证写的速度，就用LOCK TABLS；