每秒钟写入10万条记录,能做到不? 最近领导有点发疯,要求我们必须做到满足每秒写入10万条记录,每条记录大概 1k 字节左右。请问各位大牛,哪种数据库系统可以满足要求?采用何种架构?非常感谢您的回复! 解决方案 » 免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货 mysql、oracle、sqlserver都可以满足需求。关键在于架构是怎样的。 算一算100000*1K=100M普通的PC服务器单磁盘(7200转)的写入(顺序写入)速度一般为100M/S,刚好满足你的要求,但是刨掉其他操作的消耗,就不够100M/S单独给你的程序写入了。2块硬盘做RAID0,相当于两块硬盘同时写,能达到180M-200M,满足你的要求了。 每秒写入100M,一小时3600*100=360G,一天360*24=8640G=8.6T,一个月8.6*30=250T,一年250*12=3000T。很威武!我没处理过这么大的数据量,静坐等高手。 最简单的是用nosql数据库 ttserver mongogdb redis都可以用关系型数据库的话可能已经到极限了 load会非常高 当然如果你用ssd除外 NoSQL 支持查询、统计之类的不? 使用nosql,reddis,mongodb MYSQL估计比较难。 ssd 指的是什么? 每秒写入100M,一小时3600*100=360G,一天360*24=8640G=8.6T,一个月8.6*30=250T,一年250*12=3000T。很威武!3000T ssd 好有钱啊 就算 5块钱1G (应该没这么便宜)那就是 3000*1000*5=15000000哈哈 建议MySQL不要一台机器撑,而是尽量拆分,用多个MySQL来拆分压力,分布式解决。否则你数据插入的时候数据库其他的事情都不要做了。 很诱人的标题,10W per second,肯定是分库,集群。使用专用的数据库服务器,像DB2之类的。注意需要考虑数据库的维护。 SSD混合盘+RAID, 多个库分写,可以达到。关键是你们这个业务是什么样的分布情况。话说,这么密集的写,历史数据如何处理?有点像是实时数据采集的味道。 硬件本身不是大问题,简单的分布式足够满足。但软件的瓶颈才是大问题,所以选择合适的数据库才是最重要的。这种情况,选择NOSQL类型的数据库是最好的选择,它们就是为这个研发的。谷歌,脸谱,Amazon等等都在用。给你援引一下相关说明:NoSQL,指的是非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。海量数据的存储如果选用大型商用数据,如Oracle,那么整个解决方案的成本是非常高的,要花很多钱在软硬件上。NoSQL分布式存储,可以部署在廉价的硬件上,是一个性价比非常高的解决方案。 推存NoSQL应该能满足需求的。其他的关系型的数据库达不到的。 大神怎么不知道SSD,很奇怪啊! MySQL怎么使用select查询远程数据库表 SNS Webgame 社区类页面网游开发的数据库缓存问题 mysql Administrator 关于 MYSQL_SET_CHARSET_NAME 强烈建议使用toad for mysql 高手们快来帮帮关于mysql游标的忙吧 >安装完MYSQL,如何用啊???< 递归查询 大家帮忙看看这样的表怎么设计比较合理 net start mysql 各位大牛帮我看看这个数据库设计 mysql query browser如何导入导出数据
100000*1K=100M普通的PC服务器单磁盘(7200转)的写入(顺序写入)速度一般为100M/S,刚好满足你的要求,但是刨掉其他操作的消耗,就不够100M/S单独给你的程序写入了。2块硬盘做RAID0,相当于两块硬盘同时写,能达到180M-200M,满足你的要求了。
3000T ssd 好有钱啊 就算 5块钱1G (应该没这么便宜)
那就是 3000*1000*5=15000000哈哈
注意需要考虑数据库的维护。
SSD混合盘+RAID, 多个库分写,可以达到。关键是你们这个业务是什么样的分布情况。
话说,这么密集的写,历史数据如何处理?
有点像是实时数据采集的味道。
但软件的瓶颈才是大问题,所以选择合适的数据库才是最重要的。
这种情况,选择NOSQL类型的数据库是最好的选择,它们就是为这个研发的。谷歌,脸谱,Amazon等等都在用。
给你援引一下相关说明:NoSQL,指的是非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。
海量数据的存储如果选用大型商用数据,如Oracle,那么整个解决方案的成本是非常高的,要花很多钱在软硬件上。NoSQL分布式存储,可以部署在廉价的硬件上,是一个性价比非常高的解决方案。