.net 抓取远程服务器文件的问题

Question

现有一网址如下:http://www.abc.com/html/db1.html我现在如果把html目录下所有静态文件内容保存到数据库中我用了一个 for 循环组合成这样的网址http://www.abc.com/html/db?.html?就是代表循环时的变量,现在问题是假设网址http://www.abc.com/html/db5.html 不存在,我该如何处理?有没有什么办法,检查到某个网址不存在时,就跳过去?

Answer 1

 string strUrl = "";
            for (int i = 550000; i < 700000; i++)
            {
                strUrl = mystring.Url(strYmd, i);//远程服务器的网址,现在问题是当这个网址不存在时,该如何处理?                string strLastString = mystring.ProcessRequest(strUrl, null);//获取远程服务器的某个网址内容                if (strLastString.Trim().Length > 0)
                {
                    up.Add(strLastString, strUrl);//把拿到的内容插入到表中
                }            }

Answer 2

有啊
本文用3种方法检测远程URL是否存在。 it55.comprivate void Page_Load(object sender, System.EventArgs e)
{
string url1 = "http://www.dwww.cn/";
string url2 = "http://www.dwww.cn/Images/logo1.gif";
Response.Write("<li>方法1：");
Response.Write(url1 + " 存在：" + UrlExistsUsingHttpWebRequest(url1).ToString());
Response.Write("<li>方法2：");
Response.Write(url1 + " 存在：" + UrlExistsUsingSockets(url1).ToString());
Response.Write("<li>方法3：");
Response.Write(url1 + " 存在：" + UrlExistsUsingXmlHttp(url1).ToString()); www.it55.comResponse.Write("<li>方法1：");
Response.Write(url2 + " 存在：" + UrlExistsUsingHttpWebRequest(url2).ToString());
Response.Write("<li>方法3：");
Response.Write(url2 + " 存在：" + UrlExistsUsingXmlHttp(url2).ToString());
}
private bool UrlExistsUsingHttpWebRequest(string url)
{
try
{
System.Net.HttpWebRequest myRequest =(System.Net.HttpWebRequest)System.Net.WebRequest.Create(url);
myRequest.Method = "HEAD";
myRequest.Timeout = 100;
System.Net.HttpWebResponse res = (System.Net.HttpWebResponse)myRequest.GetResponse();
return (res.StatusCode == System.Net.HttpStatusCode.OK);
}
catch(System.Net.WebException we)
{
System.Diagnostics.Trace.Write(we.Message);
return false;
}
}
private bool UrlExistsUsingXmlHttp(string url)
{
//注意：此方法需要引用Msxml2.dll
MSXML2.XMLHTTP _xmlhttp = new MSXML2.XMLHTTPClass();
_xmlhttp.open("HEAD",url,false,null,null);
_xmlhttp.send("");
return (_xmlhttp.status == 200 ); IT资讯之家 www.it55.com
} 
private bool UrlExistsUsingSockets(string url)
{
if(url.StartsWith("http://")) url = url.Remove(0,"http://".Length);
try
{
System.Net.IPHostEntry ipHost = System.Net.Dns.Resolve(url);
return true;
}
catch (System.Net.Sockets.SocketException se)
{
System.Diagnostics.Trace.Write(se.Message);
return false;
}
}

Answer 3

to yfqvip 我用你的第一种方法好像有问题,不是很稳定,一会儿正确,一会不正确string[] str = new string[5];
            
            str[0] = "http://www.136.cn/html/sale611473.shtml";
            str[1] = "http://www.136.cn/html/sale611505.shtml";
            str[2] = "http://www.136.cn/html/sale61.shtml";
            str[3] = "http://www.136.cn/html/sale610903.shtml";
            str[3] = "http://www.136.cn/sale/200811/sale6.shtml";            for (int i = 0; i < str.Length; i++)
            {
                if (mystring.UrlExistsUsingHttpWebRequest(str[i])==true)
                {                    MessageBox.Show(str[i], "L");
                }
            }

Answer 4

补充一下:错误如下System.Net.HttpWebRequest myRequest = (System.Net.HttpWebRequest)System.Net.WebRequest.Create(url);值不能为空。
参数名: requestUriString我写的是客户端程序

Answer 5

可以先headyi下该url，404状态的就是不存在的 

Answer 6

关注ing楼主要是可怜我就给我点分吧
你也看出来我是个穷人了

Answer 7

我也想这样判断的,但不知CODE该如何写,请指点一下