一秒钟有十几万条记录产生,一年有将近4万亿条记录产生,数据量非常之大,目前也有好多用户都提出了类似的要求,请教各位大神,有无可行的方案,不限数据库(目前使用MySQL,无法满足要求),只要能满足要求,关系型数据库、NoSQL数据库都行,请注明实现的方式,多谢。说明:
   1.不考虑超级服务器,太贵,但8核之类的服务器还可以接受;
   2.除了检索,还要进行数据统计分析,可能会针对1年的数据进行分析,需要保证统计性能;

解决方案 »

  1.   

    这个数据量,恐怕只有ORACLE胜任了
      

  2.   

    这个估计没什么单个服务器的数据库能支持住。1秒150K记录,每毫秒150个记录,你的网络如何设计? 你的磁盘IO如何设计? 你的存储访问如何设计? 目前的单机系统估计难。 
    考虑一下多台服务器来做负载均衡。
      

  3.   

    前使用MySQL,无法满足要求
    为什么
      

  4.   

    哦,对DB2不是很熟悉,IBM的大型数据库?
      

  5.   

    无论是ORACLE或者DB2,这样的大的IO,单台普通计算机服务器肯定不行。 同样如果是多机,则不管是MYSQL还是ORACLE都可以。但关键是这个集群很难,需要有经验的专家。
      

  6.   

    一秒十几万记录是什么数据啊,短信也没这么多吧
    必须cluster+负载均衡
      

  7.   

    另外,大家有无在生产环境使用过MySQL+NoSQL,哪种NoSQL技术更成熟些?我想尽量在MySQL上去改进,ORACLE授权太贵了。
      

  8.   

    楼主的大数据处理环境使用HBase+Hadoop+Hive,做分布式存储,后期做分布式计算,数据统计分析,挖掘之类的是一个可取的方案,可以说是解决这个大数据量利器。