如何获取别人网站中的数据？

Question

与其它网站合作开发的一个项目，他们在服务器上设计好一个程序，比如：htt://www.a.com/1.asp?id=1，用途是取出他们数据库里ID为1的数据，并Response.Write("1&2&3")；我们需要的是访问他们的这个页面，并取出“1&2&3”，把此数据库分解后保存到我们的数据库里，当然不能手工操作；请问我们的程序如何设计才能取出他们网站上的数据，非常感谢！！

Answer 1

你们可以做个接收参数的页面。在页面的pageload事件里接收他们传过来的参数。同时插入你们的数据库。他们只要有数据要传给你们就访问这个接收页就可以了。

Answer 2

function get_data(id)
{ 

   var xmlhttp = new ActiveXObject("Microsoft.XMLHTTP"); 
   xmlhttp.Open("GET", "htt://www.a.com/1.asp?id="+id+"q="+(new Date()).getMilliseconds(),false); 
   xmlhttp.Send(); 
alert(xmlhttp.responseText);
}
这里用alert显示了返回的文本这里要求htt://www.a.com/1.asp这个程序，执行后产生的hmtl中，只有1&2&3。
还可以使用webrequest和webresponse.来做。

Answer 3

truelove12(请及时结贴！) 在C#里如何调用呢？因为我要把数据保存到我们的数据库里

Answer 4

C#里的调用是这样的：
引用c:/windows/system32/MSXML2.dllusing MSXML2;XMLHTTP http = new XMLHTTP();   
http.open("POST", "http://localhost:810/Dvbbs/Interface.asp?id=1", false, null, null); 
http.send("");
Response.Write(http.responseText);但是取不到中文，不知道在哪里修改它的编码格式？

Answer 5

用WebRequest和WebResponse来获取网页的全部内容，然后分析字符串。

Answer 6

已经解决using System.Net;
using System.IO;string strUrl="http://localhost:810/Dvbbs/Interface.asp?id=" + Request.QueryString["id"];
    
WebRequest webr=WebRequest.Create(strUrl); 
Stream rc=webr.GetResponse().GetResponseStream(); 
StreamReader read=new StreamReader(rc,System.Text.Encoding.Default); 
string strHtmlTotal=read.ReadToEnd();
Response.Write(strHtmlTotal);

Answer 7

好像有一个很好的软件叫Macro，不过外面貌似不多，一些咨询公司就是用它在各个bbs上面搜集数据来分析的