（两问题）网站的优化，搜索引擎技术

Question

我以前都是在小公司工作，做了也两三年了
可是我一直也不清楚
比如sina,souhu,baidu,163,google.. 那些数据量都很庞大的网站，为什么访问起来速度那么快？他们是怎么做的？比如baidu 随便一下就能找到上万条的数据，而且只要很短的时间，， 他们的数据库是怎么设计的？ 查找那么庞大的数据库会那么快..   在比如sina 里面那么多新闻，但是访问起来还那么快..  就算是每个省市都有服务器..   我还是不明白其中的深奥的东西，也不知道在网上搜索什么关键字能找到想要的答案， 希望好心人能细致的回复， 谢谢
还有一个问题就是，我听一个前辈说过 做搜索引擎 联系到很深奥的知识， 一些拆词..或数据库的算法.. 我很希望能多点了解，不知道该从哪方面入手

Answer 1

在搜索引擎分类部分我们提到过全文搜索引擎从网站提取信息建立网页数据库的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。　　另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。由于近年来搜索引擎索引规则发生了很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。　　当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法——通常根据网页中关键词的匹配程度，出现的位置/频次，链接质量等——计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户。