数据记录超过150万、同时在线人数4000的社区,如何架构能满足要求

Question

数据记录超过150万、同时在线人数4000的社区,如何架构能满足要求（不考虑硬件问题），数据库使用sql server,请大伙一起献技，分不够继续加

Answer 1

http://community.csdn.net/Expert/topic/4339/4339067.xml?temp=.9398767有人回复我就揭贴

Answer 2

CSDN就是大概这种规模，你可以参考呀！！XML + XSL

Answer 3

这个确实是有点难呀。
莫非真的要用XML+XSL了？

Answer 4

用性能监察器看一是那些方面引起这个问题,主要是几个方面,CPU,数据库,内存和硬盘看那个在使用率上经常达到峰值;
如果内存足够情况下,你可以改造一个程序通过缓存来解决数据读取的问题.
具体问题还是具体分析,这样很难提供一个好的方案.

Answer 5

离开硬件空谈软件是不现实的，asp.net＋sql2000企业版肯定满足你的要求，类似的我作过，
服务器 双cpu或者4颗8颗，用户有钱就多上， 2G内存，越大越好，其他的容措、热备等根据用户要求定，硬盘一般标配的都够用，大也无所谓，也可以web服务器和数据库服务器分别采用一台计算机，配置越高越好。总而言之这个系统不大，不用担心。

Answer 6

zhangyu028(天哪，这么多人) ,不是了，在sql server版是一个三角，在asp.net是一个星

Answer 7

应该是XML + XSL比较好吧！

Answer 8

大量应用Cache，比如论坛首页，5分钟一更新也无所谓，但是却大大减小了性能消耗。再则，论坛中的数据需要按日期分段存放在多个表，这个你可以看看CSDN就是这么做的，避免单表数据量过大，检索时候效率低。

Answer 9

这个问题我也想知道呢?比如你这个帖子的地址是
http://community.csdn.net/Expert/TopicView1.asp?id=4345939但是进入以后,就是
http://community.csdn.net/Expert/topic/4345/4345939.xml?temp=.1941339在进入一次是
http://community.csdn.net/Expert/topic/4345/4345939.xml?temp=.7082788这两个地址都能访问你的帖子.这就是梅花雪说的XML + XSL吧!
这样的技术应该能解决这个问题,但是是怎么实现的呢?有没有资料?

Answer 10

sql优化减少查询时间，code优化减少执行时间，html生减小服务器压力。

Answer 11

lyb_abiandbel(渴望成为高手) ，temp=.7082788是一个随机数，应该跟缓存有关

Answer 12

采用XML,或者生成静态的HTML，

Answer 13

顶。像新浪网那样的，不是更强？
增加硬件的开销是必要的。
软件技术呢？像新浪网那样生成静态的HTML，或者是像CSDN样用XML？
哪种解决方案更容易实现？性能更好？

Answer 14

发个牢骚,CSDN什么都好,速度也快,架构也先进,就是界面太丑,功能太少.看看左边那棵说是做试验的树,都摆在那里好久了,也不见右边更新一下,难看死了.难道只有程序员没美工,没设计人员?难道面向程序员的网站就这么没追求...

Answer 15

这个好像不值得如此兴师动众吧。
你看看人家网上的各类小说网站及论坛，论坛啊，就一台机器，程序及数据库全部搞定，硬件打死了也就双CPU，2G内存，同时在线人数超过5000人，还不是一样运行得好好的？

Answer 16

我也想知道，像Baidu，为何数据那么多，而执行速度却那么，这个很值得大家去一起讨论一下！

Answer 17

http://pop.pcpop.com/default.aspx
这个不比你的要求小.如何架构问的太泛了.从程序上讲尽量节约服务器的资源.

Answer 18

1.硬件方面服务器集群
2.软件方面，最解决问题得就是生成html或者用xml+xsl
  其次考虑用cache，我们现在也在做这个，基本上是这个思路！

Answer 19

1、硬件要高
2、要生成静态网页HTML，（我不建议用xml+xsl，客户端打开多页的时候慢）
   多用cache，最好能把静态页面都读到cache中，
3、必须的地方如发帖回帖时候在用ASPNET

Answer 20

你要问一问dudu，他对网站优化有心得

Answer 21

Asp.net + oracle +xml+xsl 
对于 不牵扯到安全的部分 都用成xml的数据岛技术

Answer 22

升级硬件,加大带宽.數據庫用Oracle,IBM DB2

Answer 23

CSDN在傍晚时并不快
还时常出点小错误

Answer 24

http://pop.pcpop.com/default.aspx
数据量160w主帖+4,000w回复.
人气,自己看在线名单.服务器配置
数据库服务器+web服务器,图片服务器只是为了分流带宽.其实注意的问题
1:分表
2:Cache
3:数据操作部分多考虑存储过程的执行效率
4:底层的代码过硬.

Answer 25

好多人哦~~~我也凑个热闹弱弱的问：好多人都提到xml+xsl的方式，我想知道这种方法有什么好处？是如何来提高性能的呀？？？从服务器读取数据的角度看，我感觉设计个良好的cache机制是非常有必要的，可以按照页面访问频繁程度来把热门页面放入cache中（这类似于操作系统的多进程处理机制）。

Answer 26

全力关注ing.. 正想一观这方面的技术

Answer 27

XML + XSL相当于生成静态html,其实质是
xml存放页面需要的数据xslt进行xml数据的显示处理,将他以html的形式显示出来,
这样的话容易控制样式,修改xslt就可以修改所有利用xml显示的网页的样式,
静态方法估计是最节省效率的了,最新的应用技术是ajax实现利用xml的网页与soap的web服务后台通信,不会显示网页刷新.

Answer 28

支持楼上的ajax，目前正在学习中……

Answer 29

这么大的访问量，那就要在做网站时考虑好每一个步骤，而且不考虑硬件是不可能的，你问问CSDN的硬件设施是不是特别，这回速度好多了

Answer 30

最好是参考现在的aspnetforum论坛

Answer 31

http://pop.pcpop.com/default.aspx
数据量160w主帖+4,000w回复.
人气,自己看在线名单.服务器配置
数据库服务器+web服务器,图片服务器只是为了分流带宽.其实注意的问题
1:分表
2:Cache
3:数据操作部分多考虑存储过程的执行效率
4:底层的代码过硬.
-------------------------------------------
望详解，底层的代码过硬-----用com组件还是？？？
大家继续,实际上,我说不考虑硬件问题是因为我们硬件肯定能保证,目前有80多台服务器,论坛占一半以上,大家说的都有道理,请继续...
---------------------------------------------
目前有80多台服务器,论坛占一半以上？？？论坛分这么多，一般一台web，一台db，还一两台其他的，你这么多，怎么统一？？分布式？？？？？望详解，，，像天空下载,qq之类的，全国几个地区有服务器，数据怎样统一？？？？？

Answer 32

losingrose() ：使用xml+xsl组合的方式的确有其灵活性，但是有一点是否要考虑：作为存储数据的载体xml文件数量非常巨大时，比如CSDN，那么，这么多的XML文件在磁盘上容易管理吗？偶听说某个目录下文件太多的话是会影响性能地-------文件形式的存储应该不会比直接把数据放到数据库里的好吧。。

Answer 33

window操作系统下一个目录里面直接子文件达到65535就不能再多了，其实到这个值，这个目录基本废了！

Answer 34

CSDN的XML+XSL这种技术省去了数据库性能问题，但不利于维护。采用SQL数据库，采用多台服务器分段支持，才是最根本的原则

Answer 35

net205(干咱这行的，缺得就是女人+金钱)
目前有80多台服务器,论坛占一半以上？？？论坛分这么多，一般一台web，一台db，还一两台其他的，你这么多，怎么统一？？分布式？？？？？望详解，，，像天空下载,qq之类的，全国几个地区有服务器，数据怎样统一？？？？？
---------------------
谢谢你的回复,没错,我们都是采用分布式的方式,全国是按照城市来部署的,象上海\北京\深圳,这些地方访问量很大,"一般一台web，一台db，还一两台其他的"根本就不行

Answer 36

使用分布式数据库服务器，把查询操作和更新操作分服务器执行，查询操作的频率一般是更新操作的10倍以上。更新服务器上的数据被修改时，同步更新其他查询服务器，这样，大量的查询请求可以被多台服务器上的Sqlserver分流分配。

Answer 37

硬件方面：好的硬件 是肯定的，但是节省成本的方法也有WEB服务器 和 数据库服务器分开的同时 可以使用用均栽平衡技术最好使用专业的均栽平衡设备 软件方面：在开发问题上尽量使用不占用服务器资源的方法，楼上有人说 XML +XSL 我完全同意

Answer 38

用javascript在客户端运行，后台用xml跟新数据。区区4000人而已，百度那么多万不照样速度一流

Answer 39

csdn经常挂掉
up up up up up

Answer 40

magicbreaker(王牌空战)你说baidu，你知道别人有多少服务器吗？我觉得他们的服务器肯定多。我现在这个问题，已经困扰我很久了，大家继续，分不够再加

Answer 41

我没有开发大型网站的经验，但是也想说说：1 缓冲：进行数据统计，对访问较多的页面进行缓冲。
2 dudu最近刚解决掉搜索引擎爬虫，这个也挺占资源的。
3 页面尽量简单，少弄那些花花图片，你看看天涯论坛www.tianyaclub.com，界面多简单，访问量平均5万多
4 通信效率问题，层数越多通信消息越低，但是架构更好，矛盾！自己去衡量吧

Answer 42

实时在线10多万用户的天涯社区（www.tianya.cn）用的技术是：
1、内容缓存。
2、应用层的语句优化。
3、高效的索引
4、分库分表，天涯访问量大的版块甚至单独分成一个库，用分区视图和链接服务器统一调用。
5、数据库调优，通过事件探查器对提交语句进行评估，优化。
6、调用频率非常高的表“钉”在内存中，减少磁盘IO。
7、通过服务器内的Agent，自动采集服务器CPU、内存、磁盘、网卡、连接数等参数，让网管即时了解WEB和DB服务器的实时性能参数。

Answer 43

实时在线10多万用户的天涯社区（www.tianya.cn）用的技术是：
1、内容缓存。
2、应用层的语句优化。
3、高效的索引
4、分库分表，天涯访问量大的版块甚至单独分成一个库，用分区视图和链接服务器统一调用。
5、数据库调优，通过事件探查器对提交语句进行评估，优化。
6、调用频率非常高的表“钉”在内存中，减少磁盘IO。
7、通过服务器内的Agent，自动采集服务器CPU、内存、磁盘、网卡、连接数等参数，让网管即时了解WEB和DB服务器的实时性能参数。

Answer 44

csdn的架构是偷懒的方法!
例如 选取最新300条记录
对老数据处理,以易用性换取效率

Answer 45

window操作系统下一个目录里面直接子文件达到65535就不能再多了，其实到这个值，这个目录基本废了！---------
这个不对吧，我是过11万多文件还好好的其实150万数据并不多的，也就4000人而已，你首先要设计好你的数据库结构，这个至关重要，
然后就是优化查询语句，常用数据用缓存，论坛的搜索不要使用like方式

Answer 46

xml+xsl这里他只是提供数据给用户生成浏览界面用的,不是做数据库的,解决不同用户的重复访问,并不是做数据库用的,xml的数据库很慢的--------------------------------------------------------------
成都理工学生求兼职
[email protected]
QQ技术群4329478

Answer 47


http://community.csdn.net/Expert/TopicView1.asp?id=4345939但是进入以后,就是
http://community.csdn.net/Expert/topic/4345/4345939.xml?temp=.1941339在进入一次是
http://community.csdn.net/Expert/topic/4345/4345939.xml?temp=.7082788
===============================其实csdn是根据浏览器来判断返回什么页面的。IE就返回 4345939.xml?temp=.7082788 ，因为IE支持XML
而FIREFOX （火狐） 就返回 TopicView1.asp?id=4345939，因为FIREFOX 读不懂  4345939.xml 。你可以观察这三个地址，它们的共同点就是 4345939 。恩，这就是帖子的ID。?temp=.7082788 这与这个嘛，呵呵，不要被忽右了呀，这是一个随机数，目的是为了能够得到服务器上的最新的文件，而不是客户端的缓存。
  
呵呵

Answer 48

看Microsoft的一些相关文档和课程都有!
最好得到Microsoft支持,

Answer 49

这个纪录不大阿，解决没什么难度的。我的感觉：
硬件用兼容机，自己配：服务器主板，2颗或者4颗CPU，2G内存，SISC硬盘。软件也自己配：
Linux + Apache + PHP + MySQL应该可以搞定。反正很便宜，如果你很NB的话，搞两套，一套扛不住了另外一套自动切换，自己做自动双机容错备份。