一个项目:
一期: 主要的业务表:750万条数据, 字段比较少, 现在 Production 使用的 Sql Server 2005.我转成 mysql，按照 国家分区, 在按照国家进行统计的时候，体验不错, 如果统计所有国家总额的时候, 体验差一些.
MySql 的测试环境: 笔记本 内存:12G; CPU: i7 2670QM; OS:Win8
二期：业务流程不变,但是数据扩展到 8-10亿. 我计算了一下, 1期数据 750万 占用空间 2G, 如果 6亿应该到 32G, 因此数据应该在 50G 左右. 我应该选择什么样的方案, 数据库只能选择 MySQL 或者 Postgresql:
1). 1台高配置的服务器, MySQL 分区, 分区可以按照 国家或地区（共280），年度（30年），业务类型（4种）.
因为分区有 1024的限制, 不打算使用年度分区, 打算使用国家和业务类型分区, 业务类型可以合并为3种, 不超过 1024. 另外有1台从服务器, 作为备份. 2). 选择 mysql cluster
没有进行详细的测试, 不知道是否可行, 有几个问题?
10亿条数据(50G左右), 是否能支撑?
达到比较好的体验效果, 需要几台机器, 应该什么配置？
另外: 系统不用考虑 写入, 也没有删除, 只有统计, 统计经常是跨10年的, 数据的写入都是晚上. 除了上面的方案, 还有什么其他方案可选择？
谢谢!
一期: 主要的业务表:750万条数据, 字段比较少, 现在 Production 使用的 Sql Server 2005.我转成 mysql，按照 国家分区, 在按照国家进行统计的时候，体验不错, 如果统计所有国家总额的时候, 体验差一些.
MySql 的测试环境: 笔记本 内存:12G; CPU: i7 2670QM; OS:Win8
二期：业务流程不变,但是数据扩展到 8-10亿. 我计算了一下, 1期数据 750万 占用空间 2G, 如果 6亿应该到 32G, 因此数据应该在 50G 左右. 我应该选择什么样的方案, 数据库只能选择 MySQL 或者 Postgresql:
1). 1台高配置的服务器, MySQL 分区, 分区可以按照 国家或地区（共280），年度（30年），业务类型（4种）.
因为分区有 1024的限制, 不打算使用年度分区, 打算使用国家和业务类型分区, 业务类型可以合并为3种, 不超过 1024. 另外有1台从服务器, 作为备份. 2). 选择 mysql cluster
没有进行详细的测试, 不知道是否可行, 有几个问题?
10亿条数据(50G左右), 是否能支撑?
达到比较好的体验效果, 需要几台机器, 应该什么配置？
另外: 系统不用考虑 写入, 也没有删除, 只有统计, 统计经常是跨10年的, 数据的写入都是晚上. 除了上面的方案, 还有什么其他方案可选择？
谢谢!
解决方案 »
- 求一条SQL语句
- sql语句应该如何写？
- 高手们..送分了~~!要详细回答
- 求一条sql语句
- 十万火急，phpmyadmin导出数据库和mysql导入数据库～～～～在线等
- mysql使用脚本的时候load文本到表里的时候，怎么第一个字段会缺少前面的几个字符呢？
- 请问这个错误是什么意思。。。Warning: mysql_fetch_array(): supplied argument is not a valid MySQL result resource in c:\inetpub\w
- 如何在linux下实现对MySQL数据库实现定时自动备份(新手)-在线求助
- mysql的编码问题
- mysql主键自增
- MySQL条件区别
- JDBC + eclipse，mysql中文字符乱码
1. rucypli 的 数据仓库解决方案infobright, 但是开源的限制比较多.
2. 分区, 几千万条没问题, 但是上亿条之后，我就不知道了.
3. mysql cluster 就我的数据量来说, 50G, 我觉得应该可以，但是没有实际测试过.
如果是，那么infobright IEE的是需要成本的，ICE虽然不需要成本，但很多你需要的都不包括。不建议采用。
mysql 按照国家分区, 加到 3千万条的时候, 第1次查询已经比较慢了.
还没去处理更多.