求大神给个大流量数据库的优化建议

本帖最后由 ayayad 于 2014-12-12 19:40:02 编辑

解决方案 »

  1.   

    （测试数据：每隔1秒更新20条记录，执行3分钟，主表没有问题，从表同步延时30秒左右）为什么更新这么慢   更新的where条件没加索引吗
      

  2.   

    不好意思，没怎么领悟你写的。
    我的问题是由于长时间查询大数据，使表被查询加锁，造成无法写入。
    主从同步方面，是可以设置主库写binlog文件的，没有必要再读一遍写入缓存吧，从库怎么取呢？
      

  3.   

    各位神，我现在主要把精力花在加速同步上，目前看下来，windows下没有什么好办法。
    两条路，不是自己写个程序去读binlog实现多线程同步；就是换linux系统（对这个系统不是很了解）。两种都太费时间了。
    有没有更好的方法呢？
    最后一次求建议，那怕是别的也同样麻烦的思路也好，权当是涨涨见识，别浪费了我的100分。
      

  4.   

    为什么主从同步会那么慢呢？很奇怪，读写分离是一个好办法，但是从你的情况来看太慢了也不能满足需求，实在不行你可以考虑一下存储过程或者MySQL的分区表，希望对你有所帮助
      

  5.   

    不好意思，没怎么领悟你写的。
    我的问题是由于长时间查询大数据，使表被查询加锁，造成无法写入。
    主从同步方面，是可以设置主库写binlog文件的，没有必要再读一遍写入缓存吧，从库怎么取呢？解决你400并发有丢数据的问题，写锁表比读锁表级别高
      

  6.   

    就是你原来写数据的  servlet或ejb只写到消息队列，消息队列只有一个消费者，去写数据库，可以不锁表写入更好性能可以看看 LMAX Disruputor架构
      

  7.   

    建议解析放到程序里面，解析好了一次性bulk insert 到MySQL 数据库