如何写爬虫读取bbs的网页

学校bbs 
上去之后IE显示的url都是http://bbs.pku.edu.cn/bbs/index.php
页面代码是：用另存为 全部，网页后是
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Frameset//EN">
<!-- saved from url=(0035)http://bbs.pku.edu.cn/bbs/index.php -->
<HTML><HEAD><TITLE>北大未名BBS----bbs.pku.edu.cn</TITLE>
<META http-equiv=Content-Type content="text/html; charset=gb2312">
<META content="MSHTML 6.00.6001.18099" name=GENERATOR></HEAD><FRAMESET border=0 
frameSpacing=0 frameBorder=0 cols=138,* framemargin="0"><FRAME name=frmleft 
src="北大未名BBS----bbs_pku_edu_cn_files/bbsman.htm"><FRAMESET border=0 rows=15,*,15 
frameBorder=0 framemargin="0"><FRAME name=frmtop 
src="北大未名BBS----bbs_pku_edu_cn_files/top.htm" scrolling=no><FRAME name=main 
src="北大未名BBS----bbs_pku_edu_cn_files/bbsdoc.htm" noResize><FRAME name=frmbtm 
src="北大未名BBS----bbs_pku_edu_cn_files/bbsbtm.htm" 
scrolling=no></FRAMESET></FRAMESET></HTML>核心内容是bbsdoc.htm
部分代码如下：
<TR>
    <TD class=body1>4494</TD>
    <TD class=body1>N</TD>
    <TD class=body1><A 
      href="http://bbs.pku.edu.cn/bbs/bbsqry.php?name=lvxin">lvxin</A> </TD>
    <TD class=body1>
      <DIV class=col31>Oct 12 23:34</DIV></TD>
    <TD class=body1><A 
      href="http://bbs.pku.edu.cn/bbs/bbscon.php?board=Drama&amp;file=M.1223825680.A&amp;num=4494&amp;attach=0&amp;dig=0">Re: 
      鲸歌的一些建议</A></TD>
    <TD class=body1 align=right>10</TD></TR>
  <TR>但是这里的链接不是实际的地址
例如 鲸歌的一些建议  这个链接点上去之后实际是
http://bbs.pku.edu.cn/bbs/t.php?Drama/M.1223825680.A/4494/0/0
请问如何解决

解决方案 »

  1.   

    我怎么看http://bbs.pku.edu.cn/bbs/bbscon.php?board=Drama&amp;file=M.1223825680.A&amp;num=4494&amp;attach=0&amp;dig=0才是实际的链接http://bbs.pku.edu.cn/bbs/t.php?Drama/M.1223825680.A/4494/0/0 
    是被url重写过的链接。
      

  2.   

    地址栏输入http://bbs.pku.edu.cn/bbs/t.php?Drama/M.1223825680.A/4494/0/0的时候，实际去的地方还是带&参数的链接的。爬虫应该去哪个都可以访问到的。懒得把自己的爬虫和自己写的url重写拉出来测试了
      

  3.   

    但是http://bbs.pku.edu.cn/bbs/bbscon.php?board=Drama&amp;file=M.1223825680.A&amp;num=4494&amp;attach=0&amp;dig=0输入IE地址栏
    Cannot open required file!