高手请进 ，网页内容提取问题(为何网页内容有丢失?)

private void button2_Click(object sender, System.EventArgs e)
{
string websideaddr;
string line;
string filename;
int foldercount=1;
int count=1;
//MessageBox.Show (Directory.GetCurrentDirectory());
websideaddr=Directory.GetCurrentDirectory() + "\\webside.txt" ;

StreamReader myReader=new StreamReader(websideaddr);
Directory.CreateDirectory(fbd1.SelectedPath+"\\"+Convert.ToString(foldercount));
int i=0;
while((line=myReader.ReadLine())!=null)
{

filename=fbd1.SelectedPath +"\\" +Convert.ToString(foldercount)+"\\"+ line.Substring(line.Length-6,6) +".txt";
//FileStream f=new FileStream(filename,FileMode.Create);
//StreamWriter myWriter=new StreamWriter(f,Encoding.GetEncoding("GB18030"));
//byte[] b=webClient1.DownloadData(websideaddr);
//myWriter.Write(Encoding.ASCII.GetString(b));
//myWriter.Close();
//MessageBox.Show(Encoding.ASCII.GetString(b)); HttpWebRequest Rq=(HttpWebRequest)WebRequest.Create(line);   
HttpWebResponse Rp=(HttpWebResponse)Rq.GetResponse();
StreamReader Sr=new StreamReader(Rp.GetResponseStream(),Encoding.GetEncoding("Shift-JIS") );
string TempStr=Sr.ReadToEnd();

FileStream f=new FileStream(filename,FileMode.Create);
StreamWriter myWriter=new StreamWriter(f,Encoding.GetEncoding("GB18030") );
myWriter.Write(TempStr);
count=count+1; Sr.Close();
Rp.Close(); if(count>=100)
{
count=1;
foldercount=foldercount+1;
Directory.CreateDirectory(fbd1.SelectedPath+"\\"+Convert.ToString(foldercount));
}

i=i+1;
label1.Text =i.ToString();
label1.Refresh();
}
myReader.Close() ;
MessageBox.Show("ok");
Debug文件夹里加一个webside.txt文本,文本里的内容为
http://www.dataplaza.keirininfo.or.jp/contents/kdpsen.Sen2?SNO=002832
http://www.dataplaza.keirininfo.or.jp/contents/kdpsen.Sen2?SNO=005746
http://www.dataplaza.keirininfo.or.jp/contents/kdpsen.Sen2?SNO=006576
http://www.dataplaza.keirininfo.or.jp/contents/kdpsen.Sen2?SNO=006629
http://www.dataplaza.keirininfo.or.jp/contents/kdpsen.Sen2?SNO=006630
}
在线等待

解决方案 »

  1.   

    你贴的代码太长了，不想看
    你可以看一下是不是这个问题
    在页面刷新的时候所有的变量都会被置空（static的除外）
      

  2.   

    也就是说在页面刷新的时候你在程序中定义的所有变量都会丢失(除static的以外)
      

  3.   

    1.可能是编码的问题
    GetEncoding("Shift-JIS") 这里.可以改成别的编码试一下.
    或是你文件中存的网址,中有问题,
    如果一个网页中加了<frame>之后,可能取到 的文件流会出问题.
      

  4.   

    哦,我发现,其实不是下载的时候的问题,问题是出在转换的时候,就是把已经得到的流(Shift-JIS)转换为GB18030,或者转换为UNICODE 都是出现这中情况,数据会丢失,请问有什么办法可以解决?
      

  5.   

    代码页 名称 
    1200 “UTF-16LE”、“utf-16”、“ucs-2”、“unicode”或“ISO-10646-UCS-2” 
    1201 “UTF-16BE”或“unicodeFFFE” 
    1252 “windows-1252” 
    65000 “utf-7”、“csUnicode11UTF7”、“unicode-1-1-utf-7”、“unicode-2-0-utf-7”、“x-unicode-1-1-utf-7”或“x-unicode-2-0-utf-7” 
    65001 “utf-8”、“unicode-1-1-utf-8”、“unicode-2-0-utf-8”、“x-unicode-1-1-utf-8”或“x-unicode-2-0-utf-8” 
    20127 “us-ascii”、“us”、“ascii”、“ANSI_X3.4-1968”、“ANSI_X3.4-1986”、“cp367”、“csASCII”、“IBM367”、“iso-ir-6”、“ISO646-US”或“ISO_646.irv:1991” 
    54936 “GB18030” 
      

  6.   

    你试试
    utf-8或是unicode
    我记得好像还有一个defautl吧??
    试试.
      

  7.   

    #region 将Gb2312码转为Default码
    public class GTD
    {
    public string Gb2312ToDefault(string KeyWord)
    {
    try
    {
    string keyword=null;
    byte[] bytes = System.Text.Encoding.Default.GetBytes(KeyWord);
    foreach ( byte ch in bytes )
    {
    keyword+="%"+ch.ToString("X");
    } return keyword;
    }
    catch(Exception e)
    {
    return e.ToString();
    }
    }
    }
    #endregion  #region 返回某网址的源码
    /// <summary>
    /// 返回某网址的源码
    /// </summary>
    public class Source
    {
    public string source(string Site)
    {
    string source="";
    try
    {
    HttpWebRequest req = (HttpWebRequest)HttpWebRequest.Create(Site);
    HttpWebResponse resp = (HttpWebResponse)req.GetResponse();
    StreamReader sr = new StreamReader(resp.GetResponseStream(),Encoding.Default); source = sr.ReadToEnd();
    resp.Close();
    }
    catch
    { } return source;
    }
    }
    #endregion 返回某网址的源码看看这两个对你是否有帮助，我天天都在用的。
      

  8.   

    以前使用我自己写的那种方法将Shift-JIS转成GB18030都没有问题,但是却在这次下载的网页中发生了问题,不知道该怎么解决以下是原文件<SCRIPT LANGUAGE="JavaScript1.1">
    <!--
    var w = window;
    function openWin(url) {
    if ((w == window) || w.closed) {
    w = open(url,"_blank","width=350,height=350,resizable=no,scrollbars=yes,directories=no,location=no,toolbar=no");
    } else {
    w.focus();   }
    return(false);}
    // -->
    </SCRIPT>
    <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Frameset//EN">
    <HTML>
    <HEAD>
    <META HTTP-EQUIV="Content-Type" NAME="" CONTENT="text/html; charset=Shift_JIS">
    <TITLE>KEIRIN-DataPlaza: 慖庤僾儘僼傿乕儖</TITLE>
    <STYLE TYPE="text/css">
    <!--
    BODY, TD, TH, A {font-size: 10pt; }
    TABLE#TBL1 {color: #FFFFFF; font-weight: bold; font-size: 10pt;
    width: 100%; height: 100%; margin: 0px; padding: 3;
    background-color: #0033CC; border-color: #000099;
    border-width: 5px 5px 5px 5px; border-style: groove ridge ridge groove; }
    #smlfnt {font-size: 9pt; }
    TABLE#SYAT {text-align: center; vertical-align: middle;
    margin: 0px; padding: 0; border: 0 none #000000; }
    TD#SYAB {color: #000000; font-weight: bold; font-size: 10pt; }
    TD#SYAW {color: #FFFFFF; font-weight: bold; font-size: 10pt; }
    -->
    </STYLE>
    </HEAD>
    <BODY text="#000000" bgcolor="#FFFFFF" topmargin="1" leftmargin="1" rightmargin="1" marginwidth="1" marginheight="1">
    <TABLE  border="0" width="100%" cellpadding="0" cellspacing="0">
    <TR>
    <td bgcolor="#003399"><img src="/image/spacer.gif" height="6"></td>
    </TR>
    <TR>
    <td>
    <TABLE  border="0" width="100%" height="51" background="/image/headback.gif" cellpadding="0" cellspacing="0">
    <TR>
    <td width="61"><img src="/image/keirinlogo.gif" border="0"></td>
    <td align="center"><img src="/image/kdplogo.gif" border="0"></td>
    </TR>
    </TABLE>
    </td>
    </TR>
    <TR>
    <td bgcolor="#CCCCCC"><img src="/image/spacer.gif" height="1"></td>
    </TR>
    <TR>
    <td>
    <TABLE  border="1" width="100%" height="43" bordercolor="#C0C0C0" cellpadding="0" cellspacing="0">
    <TR ALIGN="center" VALIGN="middle">
    <td width="10%" background="/image/b_home_b.gif"><A HREF="kdptop.Top1"><IMG SRC="/image/b_home.gif" border="0"></A></td>
    <td width="10%" background="/image/b_gsche_b.gif"><A HREF="kdpcld.Scd1"><IMG SRC="/image/b_gsche.gif" border="0"></A></td>
    <td width="10%" background="/image/b_rcale_b.gif"><A HREF="kdpcld.Cld1"><IMG SRC="/image/b_rcale.gif" border="0"></A></td>
    <td width="10%" background="/image/b_search_b.gif"><A HREF="kdpsch.Sch1"><IMG SRC="/image/b_search.gif" border="0"></A></td>
    <td width="10%" background="/image/b_kjlist_b.gif"><A HREF="kdpjyo.Jyo1"><IMG SRC="/image/b_kjlist.gif" border="0"></A></td>
    <td width="10%" background="/image/b_julist_b.gif"><A HREF="kdpjyo.Jyo2"><IMG SRC="/image/b_julist.gif" border="0"></A></td>
    <td width="10%" background="/image/b_rank_b.gif"><A HREF="kdprnk.Rnk1"><IMG SRC="/image/b_rank.gif" border="0"></A></td>
    <td width="10%" background="/image/b_winner_b.gif"><A HREF="kdprnk.Win1"><IMG SRC="/image/b_winner.gif" border="0"></A></td>
    <td width="10%" background="/image/b_download_b.gif"><A HREF="kdpdwn.Dwn1"><IMG SRC="/image/b_download.gif" border="0"></A></td>
    <td width="10%" background="/image/b_infofaq_b.gif"><A HREF="/kdphelp/help01.html"><IMG SRC="/image/b_infofaq.gif" border="0"></A></td>
    </TR>
    </TABLE>
    </td></tr>
      

  9.   

    <tr><td bgcolor="#8C8C8C"><img src="/image/spacer.gif" height="2"></td></tr>
    <tr><td bgcolor="#BBBBBB"><img src="/image/spacer.gif" height="2"></td></tr>
    <tr><td background="/image/bg02.gif"><img src="/image/spacer.gif" height="8"></td></tr>
    <tr><td bgcolor="#999999"><img src="/image/spacer.gif" height="1"></td></tr>
    </TABLE>
    <!--Sen0_Head Table Block start-->
    <TABLE  border="0" width="100%" cellspacing="0" cellpadding="0">
    <tr><td bgcolor="#999999"><img src="/image/spacer.gif" height="1"></td></tr>
    <tr><td bgcolor="#CC0033"><img src="/image/spacer.gif" height="18"></td></tr>
    <tr><td bgcolor="#C3C3C3"><img src="/image/spacer.gif" height="1"></td></tr>
    <tr><td bgcolor="#FDFDFD"><img src="/image/title_playerinfo.gif" alt="慖庤忣曬" width="89" height="31"></td></tr>
    <tr><td bgcolor="#999999"><img src="/image/spacer.gif" height="1"></td></tr>
    <tr><td background="/image/bg03a.gif"><img src="/image/spacer.gif" height="16"></td></tr>
    <tr><td background="/image/bg03b.gif" align="center">
    <TABLE  border="0" width="95%" cellspacing="0" cellpadding="0">
    <tr><td bgcolor="#cc0033"><img src="/image/spacer.gif" height="4"></td></tr>
    <tr><td background="/image/bg04.gif"><img src="/image/spacer.gif" height="4"></td></tr>
    <tr><td bgcolor="#FFFFFF">
    <TABLE  border="0" width="100%" cellspacing="4" cellpadding="0">
    <TR>
    <td><b><span style="font-size:11pt;">墿嬥堜丂岝椙</span></b></td>
    </TR>
    </TABLE>
    </td></tr><tr><td bgcolor="#FFFFFF" align="right">
    <TABLE  width="362" border="0" cellspacing="0" cellpadding="0">
    <TR>
    <td bgcolor="#CCCCCC"><img src="/image/spacer.gif" width="120" height="4"></td>
    <td><img src="/image/spacer.gif" width="1" height="4"></td>
    <td bgcolor="#FFCCCC"><img src="/image/spacer.gif" width="120" height="4"></td>
    <td><img src="/image/spacer.gif" width="1" height="4"></td>
    <td bgcolor="#CCCCCC"><img src="/image/spacer.gif" width="120" height="4"></td>
    </TR>
    <TR>
    <td colspan="5"><img src="/image/spacer.gif" height="1"></td>
    </TR>
    <TR ALIGN="center" valign="middle">
    <td bgcolor="#cc0033"><A HREF="kdpsen.Sen1?SNO=002832" style="color:#FFFFFF">嬤嫷惉愌</A></td>
    <td><img src="/image/spacer.gif" width="1" height="20"></td>
    <td bgcolor="#cc0033"><A HREF="kdpsen.Sen2?SNO=002832" style="color:#FFFFFF">僾儘僼傿乕儖</A></td>
    <td><img src="/image/spacer.gif" width="1" height="20"></td>
    <td bgcolor="#cc0033"><A HREF="kdpsen.Sen3?SNO=002832" style="color:#FFFFFF">捠嶼惉愌</A></td>
    </TR>
    </TABLE>
    </td></tr><tr><td bgcolor="#FFFFFF">
    <TABLE  border="0" width="100%" cellspacing="0" cellpadding="0">
    <tr><td colspan="7" bgcolor="#999999"><img src="/image/spacer.gif" height="1"></td></tr>
    <tr><td colspan="7" bgcolor="#CCCCCC"><img src="/image/spacer.gif" height="1"></td></tr>
    <tr><td width="25%">
    <TABLE  width="100%" border="0" cellspacing="0" cellpadding="4">
    <tr><td align="center" bgcolor="#E7E7E7"><b>晎導</b></td></tr>
    </TABLE>
    </td>
    <td bgcolor="#999999" rowspan="3" width="1"><img src="/image/spacer.gif" width="1"></td>
    <td width="25%">
    <TABLE  width="100%" border="0" cellspacing="0" cellpadding="4">
    <tr><td align="center" bgcolor="#E7E7E7"><b>婜暿</b></td></tr>
    </TABLE>
    </td>
    <td bgcolor="#999999" rowspan="3" width="1"><img src="/image/spacer.gif" width="1"></td>
    <td width="25%">
    <TABLE  width="100%" border="0" cellspacing="0" cellpadding="4">
    <tr><td align="center" bgcolor="#E7E7E7"><b>媺斍柤徧</b></td></tr>
    </TABLE>
    </td>
    <td bgcolor="#999999" rowspan="3" width="1"><img src="/image/spacer.gif" width="1"></td>
    <td width="25%">
    <TABLE  width="100%" border="0" cellspacing="0" cellpadding="4">
    <tr><td align="center" bgcolor="#E7E7E7"><b>搊榐斣崋</b></td></tr>
    </TABLE>
    </td></tr>
    <tr><td colspan="7" bgcolor="#999999"><img src="/image/spacer.gif" height="1"></td></tr>
    <TR bgcolor="#FFFFFF">
    <td>
    <TABLE  width="100%" border="0" cellspacing="0" cellpadding="4">
    <tr><td align="center"><b>嶉嬍導</b></td></tr>
    </TABLE>
    </td><td>
    <TABLE  width="100%" border="0" cellspacing="0" cellpadding="4">
    <tr><td align="center"><b>婜慜</b></td></tr>
    </TABLE>
    </td><td>
    <TABLE  width="100%" border="0" cellspacing="0" cellpadding="4">
    <tr><td align="center"><b>俛媺俀斍</b></td></tr>
    </TABLE>
    </td><td>
    <TABLE  width="100%" border="0" cellspacing="0" cellpadding="4">
    <tr><td align="center"><b>002832</b></td></tr>
    </TABLE>
    </td></tr>
    <tr><td colspan="7" bgcolor="#999999"><img src="/image/spacer.gif" height="1"></td></tr>
    </TABLE>
    </td></tr>
    <tr><td bgcolor="#ffffff"><img src="/image/spacer.gif" height="8"></td></tr>
    <tr><td bgcolor="#FFFFFF">
    <TABLE  width="100%" border="0" cellspacing="0" cellpadding="15">
    <TR>
    <td align="center" bgcolor="#FF9999"><b><span style="font-size:12pt;">杮慖庤偼2000擭03寧28擔偵堷戅偟傑偟偨丅</span></b></td>
    </TR>
    </TABLE>
    </td></tr>
    </table>
    </td></tr></table>
    <!--Sen0_Head Table Block end-->
    </td></tr></table>
    </td></tr></table>
    </div><br><br>
    </BODY>
    </HTML>