先说一下数据情况:
1、每天有500万的网页浏览数据
2、共有几百个网站
流量大多是通过网络广告带来的,浏览者在网站上的行为:
1、打开首页 然后关闭
2、查看二级页
3、留言
数据需求:(以下数据都要分析出地区、小时时间段)
1、每个网站的来自广告的流量
2、来自广告的浏览二级页的数量
3、来自广告流量带来的留言量
4、对每一个二级页都要统计出流量、留言量。
5、以上数据的图表、数据比较等顺便说一下 我现在的处理方式:
一台数据库服务器  Sql server 2005 每天创建一个数据库,记录下所有浏览数据,利用触发器,分类别把数据处理(计算出地区、是否来自广告、是否来自搜索引擎、以及关键字等等)到数个统计表;如果写到一个统计表会产生死锁。每天0点把昨天的数据导到另一个统计库  此库没有时时操作 只有历史统计数据现在遇到的问题是 数据处理时 要去回查庞大的流量表  很耗资源 cpu100%请问有必要设计数据仓库吗   如何设计?如果没必要  我的处理方式 是否不妥  如何改进?  请帮帮!

解决方案 »

  1.   

    完全有必要啊。如何设计嘛,就要具体问题具体分析了,刚刚给公司建完一个网页广告的分析系统,呵呵
      

  2.   

    可以设计一个中间数据库,采用复制将产品数据库的数据复制到这个中间数据库中,所有的统计、处理操作在这个中间数据库中进行,这个中间数据库应该放在与产品数据库不同的服务器上,避免争用资源!采用这种方法,你的产品数据库负担会大大减轻,但你的中间数据库工作量将很大.