不知道多少人参与了淘宝的双11的过程。由于之前开发和维护了一个店铺模块,所以在双十一的时候有幸目睹了整个流量的暴涨过程。模块使用的缓存方法是比较简单的 文件缓存方法,php从数据库读取数据 每3分钟缓存一次到硬盘,(数据供买家简单查看,不涉及改写...),每次新的访问先判断memcache中的时间记录是否过期,过期的话读取新的数据缓存,并且更新memcache中的时间戳记录,如果没过期那么直接读取缓存文件。读取后输出json 到客户端,客户端再解析呈现最后的数据。缓存文件的数据较大,普遍都达到 5.5k左右,这直接导致网络的占用比较厉害。
大约在11.10夜晚开始流量已经出现异动,平时流量不算高,但是11.10晚已经达到平时的5倍左右流量,当时没有多留意,11.11早上开始流量暴涨,大约在10点左右来了一个高潮 带宽接近10m占用.之后流量维持一段较稳定水平,到晚上10点左右来了第二次高潮,这次流量直接冲破10m 大约在13m左右.整个过程我都有在跟进,cpu维持在一个正常值内,不超过20% IO读写也在正常范围,内存占用达到40%左右(2G 系统centOs),带宽从10M扩容到15M .如此就算是撑过这一天了,事后和淘宝的运维部门说起这个事情的时候,他们的反映比较怀疑,只扩容了带宽?因为数据不需要更改,和不需要实效性所以帮助我顺利的度过了淘宝的双11.然后我在11.12后查看了一下我的后台数据,当天pv 超过20w+....作个流水账给大家分享一下,最近真的太忙,没有多时间来和大家学习,有时间我会把一些经历给大家分享。
比如昨天和今天都在弄那个该死的tea SDK 2.0 怎么都提示错误...郁闷现在还在重新下那个硕大的jdk,一会到虚拟
XP里去测试一下...
大约在11.10夜晚开始流量已经出现异动,平时流量不算高,但是11.10晚已经达到平时的5倍左右流量,当时没有多留意,11.11早上开始流量暴涨,大约在10点左右来了一个高潮 带宽接近10m占用.之后流量维持一段较稳定水平,到晚上10点左右来了第二次高潮,这次流量直接冲破10m 大约在13m左右.整个过程我都有在跟进,cpu维持在一个正常值内,不超过20% IO读写也在正常范围,内存占用达到40%左右(2G 系统centOs),带宽从10M扩容到15M .如此就算是撑过这一天了,事后和淘宝的运维部门说起这个事情的时候,他们的反映比较怀疑,只扩容了带宽?因为数据不需要更改,和不需要实效性所以帮助我顺利的度过了淘宝的双11.然后我在11.12后查看了一下我的后台数据,当天pv 超过20w+....作个流水账给大家分享一下,最近真的太忙,没有多时间来和大家学习,有时间我会把一些经历给大家分享。
比如昨天和今天都在弄那个该死的tea SDK 2.0 怎么都提示错误...郁闷现在还在重新下那个硕大的jdk,一会到虚拟
XP里去测试一下...
淘宝不是用php吧???
淘宝双11的瓶颈 主要在数据库事务那里。貌似别的估计就是最大连接数,内存
数据在我们的服务器还是有经过处理的,也就是缓存3分钟,之后要读取新的数据,解析,组装入库,生成新的缓存文档...不过数据处理方面的事情真的不算多,只是一天要处理20W+的PV 以我们现在那台破主机能顶住已经超出我的接受程度.