java 编写的爬虫 获取HTML源文件

Question

public class ResultHTML {
public static void main(String[] args) throws MalformedURLException, IOException {
        URLConnection uc = new URL("http://10.50.128.145").openConnection();
        uc.setConnectTimeout(10000);
        uc.setDoOutput(true);
                  
        InputStream in = new BufferedInputStream(uc.getInputStream());
        Reader rd = new InputStreamReader(in);
        int c = 0;
        StringBuffer temp = new StringBuffer();
        while ((c = rd.read()) != -1) {
            temp.append((char) c);
        }
        in.close();
                  
        System.out.println(temp.toString());
    }很简单的代码 就是想获取HTML的源代码 但是发现 如果HTML中加入了CSS ,JS 或者是用了框架。根本就得到里面的东西。只是你所点击的这个页面最外面的一个框子。实质显示的数据 全部都在其他的CSS,或是JS中。
鼠标右键这个网页 得到的源文件跟解析出来的不一样。问 怎么才能得到 包括CSS.JS或是框架的HTML源文件。要那种鼠标右键后得到的源文件。带数据的。
所有的分 25分

Answer 1

你测试这个试下 我以前用的是这个public  static void main() {
try {
StringBuffer html = new StringBuffer();
java.net.URL url = new java.net.URL("http://www.baidu.com");
java.net.HttpURLConnection conn = (java.net.HttpURLConnection) url.openConnection();
BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream(), "UTF-8"));
String temp;
while ((temp = br.readLine()) != null) {
html.append(temp).append("\n");
}
br.close();
return html.toString();
}
catch (Exception e) {
e.printStackTrace();
return null;
}
}

Answer 2

弱弱的问下。这个写的是在main程序入口里的 还是自己写了个main方法
麻烦写的详细点。我不明白~

Answer 3

我要说的是 我写的代码也是可用的。但是不全 没有HTML 引用的CSS文件跟JS文件
 我要的是 解析代码能把这些也都解析出来的。

Answer 4

那你需要去解析HTML里面的东西了，在头文件中找到JS与CSS链接的文件，再让程序去下载，方法跟你的类似，只是URL改成你解析出来的就可以了

Answer 5

爬虫,要自己分析地址,然后在取,这个是我写的,简单的
http://blog.csdn.net/gonxi/archive/2009/09/05/4522462.aspx

Answer 6

URLConnection这个只能得到静态页面啊，如果你在解释html的时候发现有css，js的连接，就再去查询内容啊，不是用文件路径吗？

Answer 7

我上面的代码只是解析了这个地址的HTML 对于连接的JS 或是CSS 文件 还需要分析。但是怎么分析？我是真的不会。貌似还需要用到函数分析什么的。真的不会往下写。谁给个模版。或是给个调用IE查看源文件板块的 代码。主要是JS,CSS 文件 在IE里的时候是已经下载到本地。换句话就是，只有把这些文件下载到本地才能全部解析，因为JS,CSS本身就是在本地运行的。但是如果是只给个地址 动态的。解析不了。

Answer 8

还有就是 发送的url 先是出现一个标题的空白页面 然后跳转到有数据的页面
我要解析的是这个有数据的。 怎么办？中间有自动跳转的~