如何处理搜索引擎中页面重复问题

检查谷歌的管理员工具，html建议里面有个问题是重复的标题标记，小站存在页面重复的地方，具体如下：第一个问题： 
http://www.7qiao.net.cn/bbs/article_detail.jsp?id=25218页面和http://www.7qiao.net.cn/news/article.jsp?id=25218页面重复，这两个页面实际上内容是一样的，实际上，所有http://www.7qiao.net.cn/bbs/article_detail.jsp页面和http://www.7qiao.net.cn/news/article.jsp页面内容都一样，不同的是http://www.7qiao.net.cn/bbs/article_detail.jsp里面增加了评论。解决该问题采用了两个方法：1、指定权威页在
http://www.7qiao.net.cn/news/article.jsp和http://www.7qiao.net.cn/bbs/article_detail.jsp两个文件里面加入了如下标签：
<link rel=”canonical” href=”/news/article.jsp?id=<%=articleId %>”/>
 
该方法对谷歌有效，对百度未知。
2、禁止搜索引擎爬行bbs目录
考虑再三，决定禁止搜索引擎爬行bbs目录，实际上bbs目录里面也没有什么内容好搜索的，禁止蜘蛛爬行bbs目录有如下几个好处：
（1）、解决了页面重复性问题
既然蜘蛛爬行不到
http://www.7qiao.net.cn/bbs/article_detail.jsp
这个页面，当然也就不会存在
http://www.7qiao.net.cn/bbs/article_detail.jsp
和
http://www.7qiao.net.cn/news/article.jsp
重复的问题了。
（2）、防止蜘蛛爬行文章留言中的链接
文章的留言中，有可能存在链接，而这些链接都是其他网站的，允许蜘蛛爬行这里链接有可能会影响小站的权重。禁止爬行有好处。
 
第二个问题： 
首页重复性问题，即http://www.7qiao.net.cn/和http://www.7qiao.net.cn/index.jsp这两个页面重复，而且也不规范、不好看，http://www.7qiao.net.cn/也是首页http://www.7qiao.net.cn/index.jsp也是首页，到底哪个是首页啊？解决该问题的方法是在index.jsp文件中增加301重定向：在index.jsp文件中增加如下代码：<%
 String curUrl = request.getRequestURI();
 if(curUrl != null){
  if(curUrl.equals(”/index.jsp”)){
   response.setStatus(301);
   response.setHeader( “Location”, “http://www.7qiao.net.cn/” );
   response.setHeader( “Connection”, “close” );
  }
 }%>第三个问题：域名问题
在谷歌中site:7qiao.net.cn有242条记录（实际116条），site:www.7qiao.net.cn有126条记录，二者不一致，百度也存在同样的问题，实际上搜索引擎是把
http://7qiao.net.cn/
和http://www.7qiao.net.cn/
当着两个不同的网站了，小站的url规范存在问题，问题比较严重，解决该问题的办法是：
在域名解析记录中，直接删除7qiao.net.cn的A记录，
这样以后通过http://7qiao.net.cn/就不能访问小站了，不能访问就不能访问吧，总比有问题好。
 
 
另外有个问题，原来部分页面中关键字之间的链接，采用 ”|”分割，不好，搜索引擎不一定支持。
修改了/news/article.jsp和/bbs/article_detail.jsp以及/news/list_detail.jsp里面的关键字和描述，不能用”|”分割关键字，改为用”,”分割。
 
说不改不改，又改了好多，也不知道修改的过程中可带进了什么新的错误，过一段时间，看看版本稳定性再说。
 文章来源：记忆的秘密花园