不知道多少人参与了淘宝的双11的过程。由于之前开发和维护了一个店铺模块,所以在双十一的时候有幸目睹了整个流量的暴涨过程。模块使用的缓存方法是比较简单的 文件缓存方法,php从数据库读取数据 每3分钟缓存一次到硬盘,(数据供买家简单查看,不涉及改写...),每次新的访问先判断memcache中的时间记录是否过期,过期的话读取新的数据缓存,并且更新memcache中的时间戳记录,如果没过期那么直接读取缓存文件。读取后输出json 到客户端,客户端再解析呈现最后的数据。缓存文件的数据较大,普遍都达到 5.5k左右,这直接导致网络的占用比较厉害。
大约在11.10夜晚开始流量已经出现异动,平时流量不算高,但是11.10晚已经达到平时的5倍左右流量,当时没有多留意,11.11早上开始流量暴涨,大约在10点左右来了一个高潮 带宽接近10m占用.之后流量维持一段较稳定水平,到晚上10点左右来了第二次高潮,这次流量直接冲破10m 大约在13m左右.整个过程我都有在跟进,cpu维持在一个正常值内,不超过20% IO读写也在正常范围,内存占用达到40%左右(2G 系统centOs),带宽从10M扩容到15M .如此就算是撑过这一天了,事后和淘宝的运维部门说起这个事情的时候,他们的反映比较怀疑,只扩容了带宽?因为数据不需要更改,和不需要实效性所以帮助我顺利的度过了淘宝的双11.然后我在11.12后查看了一下我的后台数据,当天pv 超过20w+....作个流水账给大家分享一下,最近真的太忙,没有多时间来和大家学习,有时间我会把一些经历给大家分享。
比如昨天和今天都在弄那个该死的tea SDK 2.0 怎么都提示错误...郁闷现在还在重新下那个硕大的jdk,一会到虚拟
XP里去测试一下...

解决方案 »

  1.   

    过来看看,疑问是楼主是淘宝的???
    淘宝不是用php吧???
    淘宝双11的瓶颈 主要在数据库事务那里。貌似别的估计就是最大连接数,内存
      

  2.   

    1w pv 暴涨1倍10000w pv 暴涨1倍是完全不一样的
      

  3.   

    本帖最后由 PhpNewnew 于 2012-11-14 10:17:07 编辑
      

  4.   

    是这个吗???http://www.blogjava.net/cenwenchu/
      

  5.   


    数据在我们的服务器还是有经过处理的,也就是缓存3分钟,之后要读取新的数据,解析,组装入库,生成新的缓存文档...不过数据处理方面的事情真的不算多,只是一天要处理20W+的PV 以我们现在那台破主机能顶住已经超出我的接受程度.
      

  6.   

    一天pv 20w其实并不高。所以你其他指标均比较正常。跟你做了静态页缓存有关系。带宽占用量大,可能是因为你页面上有很多图片或flash什么的。致使客户端和服务器的数据交互量比较大。