大数据量处理，求教高手~

Question

现在我们要做一个大网管，数据量相当的大，10分钟采集的数据差不多有100万到200万条数据，而且采集到的数据还要生成报表，现在我们想的是用几台采集机来采集，采集机可以动态增减，一台服务器来生成报表，现在遇到的问题是，是将采集到的数据统一传输到一台服务器，然后再存数据库，还是各台采集机各自将采到的数据存入数据呢，担心各台采集机往数据库存入数据会导致死锁等性能问题，有知道的朋友说声哈，我们这种架构有问题没有，以前没有这么大数据量的开发经验，先谢谢了~

Answer 1

采集机用MYSQL数据库就行，把数据采集到MYSQL数据库之后，定时（比如1天），转存到报表服务器。这个服务器就需要很大的磁盘了，它需要存储所有的历史记录。这个库可以用infobright数据仓库，压缩比例很高，列式存储，汇总统计查询效率也很高。

Answer 2

这么大得写入量可以用mysql cluster试试