请问如何抓取google搜索结果的页面? 不知道你的目的是什么?如果是依靠google提供的搜索功能呢的话,应该可以调用google所提供的webService接口啊http://www.csdn.net/Develop/article/26/26973.shtm 解决方案 » 免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货 Google是著名的搜索引擎,其强大的搜索功能使许多网民爱不释手。利用Google,我们还可以制作网站的站内搜索引擎。利用这个搜索引擎,不仅可以搜索你网站内的文章,而且可以让每个搜索页面都出现你的网站logo或banner,就象是Google专门为你的网站量身定做的搜索引擎,实在是棒极了。最重要的是,制作这个搜索引擎,无需ASP、CGI支持,调用网站logo也无需使用框架,只要简单地加入一段代码就行了。 在东方法眼(http://www.dffy.com)网站上,你使用一下站内搜索功能就可以看到效果了,这是东方法眼网站所使用的代码:<FORM name=gs action=http://www.google.com/custom method=get target="_blank"><INPUT type=hidden name=cof VALUE="T:black;LW:468;L:http://www.dffy.com/pic/dffyban.gif;LH:60;AH:center;VLC:#551A8B;GL:0;S:http://www.dffy.com;"><INPUT type=hidden value=www.dffy.com name=domains><INPUT type=hidden value=zh-CN name=hl><INPUT type=hidden CHECKED value=www.dffy.com name=sitesearch><P align=center><INPUT maxLength=2048 size=32 name=q><FONT size=-1> <INPUT type=submit value=站内搜索 name=btnG></FONT></FORM>下面按顺序说明一下修改代码的方法:代码中的T:black是搜索结果中摘要部分的字体颜色,可以修改为其他的颜色,如red,blue,或者干脆是任意颜色代码如#336699。LW:468是搜索结果页面中logo图片的宽度,LH:60则是高度,468和60分别改成你的logo的宽度和高度。http://www.dffy.com/pic/dffyban.gif是logo图片的地址,修改成你要调用图片的地址。AH:center表示搜索结果页面中google和你的logo的位置,center表示居中,可以修改为靠左left或靠右right。VLC:#551A8B是已经打开过的链接颜色,可以不改。S:http://www.dffy.com表示logo链接到的网址,可以修改为你想要指向的网页,一般直接写上你的网址就行了。下面出现的几个www.dffy.com,都换成你的网址,要不可就是搜索我的网站了,一定不能搞错。 代码修改好以后,直接加入到你的网页的body部分就可以了。试验一下,是不是很酷? 回 dragon525,我的目的就是把那些结果的页面下载下来,我试过用flashget可以做到,但是我自己写的程序就不行因为我对java.net的编程不熟悉,请高手指点 以下是我写的程序:import java.io.*;import java.net.*;import java.io.EOFException;public class Download { public Download() { try { URL url = new URL("http://www.google.com/search?q=java%E7%BD%91%E7%BB%9C%E7%BC%96%E7%A8%8B&ie=UTF-8&oe=UTF-8&hl=zh-CN&lr=lang_zh-CN%7Clang_zh-TW"); try { DataInputStream in = new DataInputStream(url.openStream()); RandomAccessFile out = new RandomAccessFile("d:\\temp\\output.txt","rw"); try{ while(true){ byte by = (byte)in.readByte(); out.writeByte(by); } } catch(EOFException e){ System.err.println("EOFException"); } in.close(); out.close(); System.out.println("Download complete!"); } catch (IOException ex1) { System.err.println("IOExcepion!"); } } catch (MalformedURLException ex) { System.err.println("MalformedURL!"); } } public static void main(String[] args){ Download dl = new Download(); }}Debug时发现错误原因为:“Server returned HTTP response code: 403 for URL: http://www.google.com/search?q=java%E7%BD%91%E7%BB%9C%E7%BC%96%E7%A8%8B&ie=UTF-8&oe=UTF-8&hl=zh-CN&lr=lang_zh-CN%7Clang_zh-TW”为什么我下载www.google.com的主页可以,而搜索结果页却不成功?有什么办法可以顺利下载吗? 谈到网页搜索引擎时,大多数人都会想到雅虎。的确,雅虎开创了一个互联网络的搜索时代。然而,雅虎目前用于搜索网页的技术却并非该公司原先自己开发的。2000年8月,雅虎采用了Google(www.google.com)这家由斯坦福大学学生创建的风险公司的技术。理由非常简单,Google的搜索引擎比雅虎先前使用的技术能更快、更准确搜索到所需要的信息。 让我们自己来设计、开发一个强劲、高效的搜索引擎和数据库恐怕短时间内在技术、资金等方面是不可能的,不过,既然雅虎都在使用别人的技术,那么我们是不是也可以使用别人现成的搜索引擎网站呢? 剖析编程思路 我们可以这样设想:模拟一个查询,向某个搜索引擎网站发出相应格式的搜索命令,然后传回搜索结果,对结果的HTML代码进行分析,剥离多余的字符和代码,最后按所需要的格式显示在我们自己的网站页面里。 这样,问题的关键就在于,我们要选定一个搜索信息准确(这样我们的搜索才会更有意义啊)、速度快(因为我们分析搜索结果并显示需要额外的时间),搜索结果简洁(便于进行HTML源代码分析和剥离)的搜索网站,由于新一代搜索引擎Google的各种优良特性,这里我们选择它为例,来看看用PHP怎样实现后台对Google(www.google.com)搜索、前台个性化显示这一过程。 我们先来看看Google的查询命令的构成。进入www.google.com网站,在查询栏中输入“abcd”,点击查询按钮,我们可以发现浏览器的地址栏变成:"http://www.google.com/search?q=abcd&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr=",可见,Google是通过表单的get方式来传递查询参数并递交查询命令的。我们可以使用PHP中的file()函数来模拟这个查询过程。 了解File()函数 语法: array file(string filename); 返回值为数组,将文件全部读入数组变量中。这里的文件可以是本地的,也可以是远程的,远程文件必须指明所使用的协议。例如: result=file(“http://www.google.com/search?q=abcd&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr=”),该语句将模拟我们在Google上查询单词“abcd”的过程,并将搜索结果以每行为元素,传回到数组变量 result中。因为这里读取的文件是远程的,所以协议名“http://”不能缺少。 如果要让用户输入搜索字符进行任意搜索,我们可以做一个输入文本框和提交按钮,并将上文中的被搜索字符“abcd”用变量替换: <?php echo '<form>'; //没有参数的form,默认提交方式为get,提交到本身 echo '<input type="text" name="keywords">'; //构造一个文本输入框 echo '<input type="submit" value="查询">'; //构造一个提交查询按钮 echo '</form>'; if (isset( keywords)) //提交后PHP会生成变量 kwywords,即要求下面的程序在提交后运行 { urlencode( keywords); //对用户输入内容进行URL编码 result=file("http://www.google.com/search?q=". keywords."&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr="); //对查询语句进行变量替换,将查询结果保存在数组变量 result中 result_string=join(" ", result); //将数组$result合并成字符串,各数组元素之间用空格粘和 ... //进一步处理 } ?> 上面的这段程序已经能按用户输入内容进行查询,并将返回的结果合成一个字符串变量$result_string。请注意要使用urlencode()函数将用户输入内容进行URL编码,才可以正常地对输入的汉字、空格以及其他特殊字符进行查询,这样做也是尽可能逼真地模拟Google的查询命令,保证搜索结果的正确性。 对Google的分析 为了便于理解,现在假设我们所真正需要的东西是:搜索结果的标题。网址和简介等,这是一个简洁而典型的需求。这样,我们所要做的便是:去除Google搜索结果的台头和脚注,包括一个Google的标志、再次搜索的输入框和搜索结果说明等,并且在剩余的搜索结果各项条目中剥离原来的HTML格式标记,替换成我们想要的格式。 要做到这一点,我们必须仔细地分析Google搜索结果的HTML源码,找到其中的规律。不难发现,在Google的搜索结果的正文总是包含在源码的第一个<p>标记和倒数第二个<p>标记之间,并且倒数第二个<p>标记后紧跟table字符,而且这个组合“<p><table”在源码中也仅有一次,利用这个特点,我们可以这样去除Google的台头和脚注。 以下所有程序均依次接续在上文程序的“进一步处理”处。 result_string = strstr( result_string, "<p>"); //取 result_string从第一个<p>开始后的字符串,以去除Google台头 position= strpos( result_string,"<p>table符号的位置 result_string= substr( result_string,0, position);//截取第一个<p>table符号之前的字符串,以去除脚注 应用与实现 OK,现在我们已经得到有用的HTML源码主干了,剩下的问题是如何自主地显示这些内容。我们再分析一下这些搜索结果条目,发现每个条目之间也是很有规律的用 分隔,也就是各成一个段落,按这个特点我们用explode()函数把每个条目切开: 语法:explode(string separator, string string); 返回一个数组,按separator切开后的各个小字串被保存在数组中。 于是: result_array=explode("<p>", result_string); //用字串"<p>"把结果切开 我们就得到一个数组 result_array,其中每个元素都是一个搜索结果条目。我们所要做的仅仅是研究每个条目及其HTML显示格式代码,然后按要求替换就行了。下面用循环来处理 result_array中的每个条目。 for( i=0; i { ... //处理每个条目 } 对于每个条目,我们也很容易找到一些特点:每个条目都由标题、摘要、简介、类别、网址等组成,每个部分都换行,即包含<br>标记,于是再次分割:(以下处理程序放在上文的循环中) every_item=explode("<br>", result_array[ i]); 这样我们得到一个数组 every_item,其中 every_item[0]就是标题, every_item[1]和 every_item[2]两行为摘要, every_item[3]和 every_item[4]等等的头部如果包含“<font size=-1 color=#6f6f6f >简介:</font>”、“< font size=-1 color=#6f6f6f>类别:< /font>”字符,则是简介或类别(因为有的结果条目没有该项),如果头部包含“< font color=green>”则肯定就是网址啦,这种对比判断我们常使用正则表达式(略),如果要替换也很方便,比如包含标题的$every_item[0],其本身是有链接的,我们希望修改这个链接属性,让它在新窗口打开链接: echo eregi_replace(' { ... //处理每个条目中除去第一项(第一项为标题,已经显示)的每一项 ... //更多格式修改 } 这样就修改了链接属性,其余很多显示格式的修改、剥离、替换都能用正则替换eregi_replace()来完成。 至此我们已经得到了每个搜索条目的每一项,并能任意修改每项的格式,甚至可以给他套上漂亮的表格。然而一个好的程序应该能适应各种运行环境的,这里也不例外,我们其实还只是讨论了搜索结果的HTML剥离的一种框架方法,真正要做得完美,还要考虑很多内容,比如要显示一共搜索出多少结果,分成多少页等等,甚至还可以刨除与Google相关的那些“类别”、“简介”等代码,让客户根本看不到原始网站。不过这些内容和要求我们都能通过分析HTML进行剥离得到。现在大家完全能自己动手,做个极富个性化的搜索引擎啦。 谢谢cwa的热心,但我的目的不是做一个搜索引擎,我只是想把那些结果页以文本文件的形式保存下来而已。 你的要求不高,直接对html文件进行分析,抓取你想要的东西,保存在文本文件里就可以了,java有个HTMLParser包,专门用来分析HTML文件的。 安卓怎么让软件连接到数据库达到数据更新的效果 byte类型和二进制之间如何相互转换 点完JButton立即自动关闭窗口用什么方法! import java.java.* 与import java.Date 的区别 JTable中如何响应鼠标事件? 有没有写正则表达式的高手 [求救] 我机子上的所有.jar都变成 .rar 文件了 .... 我为什么可以改变final数据 如何在一字符串中查询是否还有某一字符?????????????????? 正则表达式的问题 再度靓相,击扬搜索文化,感激前辈指点... 超级大菜鸟初学JAVA,请指点一下.
在东方法眼(http://www.dffy.com)网站上,你使用一下站内搜索功能就可以看到效果了,这是东方法眼网站所使用的代码:<FORM name=gs action=http://www.google.com/custom method=get target="_blank">
<INPUT type=hidden name=cof VALUE="T:black;LW:468;L:http://www.dffy.com/pic/dffyban.gif;LH:60;AH:center;VLC:#551A8B;GL:0;S:http://www.dffy.com;">
<INPUT type=hidden value=www.dffy.com name=domains>
<INPUT type=hidden value=zh-CN name=hl>
<INPUT type=hidden CHECKED value=www.dffy.com name=sitesearch>
<P align=center>
<INPUT maxLength=2048 size=32 name=q><FONT size=-1> <INPUT type=submit value=站内搜索 name=btnG></FONT></FORM>下面按顺序说明一下修改代码的方法:代码中的T:black是搜索结果中摘要部分的字体颜色,可以修改为其他的颜色,如red,blue,或者干脆是任意颜色代码如#336699。LW:468是搜索结果页面中logo图片的宽度,LH:60则是高度,468和60分别改成你的logo的宽度和高度。http://www.dffy.com/pic/dffyban.gif是logo图片的地址,修改成你要调用图片的地址。AH:center表示搜索结果页面中google和你的logo的位置,center表示居中,可以修改为靠左left或靠右right。VLC:#551A8B是已经打开过的链接颜色,可以不改。S:http://www.dffy.com表示logo链接到的网址,可以修改为你想要指向的网页,一般直接写上你的网址就行了。下面出现的几个www.dffy.com,都换成你的网址,要不可就是搜索我的网站了,一定不能搞错。
代码修改好以后,直接加入到你的网页的body部分就可以了。试验一下,是不是很酷?
import java.io.*;
import java.net.*;
import java.io.EOFException;public class Download {
public Download() {
try {
URL url = new URL("http://www.google.com/search?q=java%E7%BD%91%E7%BB%9C%E7%BC%96%E7%A8%8B&ie=UTF-8&oe=UTF-8&hl=zh-CN&lr=lang_zh-CN%7Clang_zh-TW");
try {
DataInputStream in = new DataInputStream(url.openStream());
RandomAccessFile out = new RandomAccessFile("d:\\temp\\output.txt","rw");
try{
while(true){
byte by = (byte)in.readByte();
out.writeByte(by);
}
}
catch(EOFException e){
System.err.println("EOFException");
}
in.close();
out.close();
System.out.println("Download complete!");
}
catch (IOException ex1) {
System.err.println("IOExcepion!");
}
}
catch (MalformedURLException ex) {
System.err.println("MalformedURL!");
}
}
public static void main(String[] args){
Download dl = new Download();
}
}Debug时发现错误原因为:“Server returned HTTP response code: 403 for URL: http://www.google.com/search?q=java%E7%BD%91%E7%BB%9C%E7%BC%96%E7%A8%8B&ie=UTF-8&oe=UTF-8&hl=zh-CN&lr=lang_zh-CN%7Clang_zh-TW”
为什么我下载www.google.com的主页可以,而搜索结果页却不成功?有什么办法可以顺利下载吗?
<?php
echo '<form>'; //没有参数的form,默认提交方式为get,提交到本身
echo '<input type="text" name="keywords">'; //构造一个文本输入框
echo '<input type="submit" value="查询">'; //构造一个提交查询按钮
echo '</form>'; if (isset( keywords)) //提交后PHP会生成变量 kwywords,即要求下面的程序在提交后运行
{
urlencode( keywords); //对用户输入内容进行URL编码
result=file("http://www.google.com/search?q=". keywords."&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr=");
//对查询语句进行变量替换,将查询结果保存在数组变量 result中
result_string=join(" ", result); //将数组$result合并成字符串,各数组元素之间用空格粘和
... //进一步处理
}
?> 上面的这段程序已经能按用户输入内容进行查询,并将返回的结果合成一个字符串变量$result_string。请注意要使用urlencode()函数将用户输入内容进行URL编码,才可以正常地对输入的汉字、空格以及其他特殊字符进行查询,这样做也是尽可能逼真地模拟Google的查询命令,保证搜索结果的正确性。 对Google的分析 为了便于理解,现在假设我们所真正需要的东西是:搜索结果的标题。网址和简介等,这是一个简洁而典型的需求。这样,我们所要做的便是:去除Google搜索结果的台头和脚注,包括一个Google的标志、再次搜索的输入框和搜索结果说明等,并且在剩余的搜索结果各项条目中剥离原来的HTML格式标记,替换成我们想要的格式。 要做到这一点,我们必须仔细地分析Google搜索结果的HTML源码,找到其中的规律。不难发现,在Google的搜索结果的正文总是包含在源码的第一个<p>标记和倒数第二个<p>标记之间,并且倒数第二个<p>标记后紧跟table字符,而且这个组合“<p><table”在源码中也仅有一次,利用这个特点,我们可以这样去除Google的台头和脚注。 以下所有程序均依次接续在上文程序的“进一步处理”处。 result_string = strstr( result_string, "<p>"); //取 result_string从第一个<p>开始后的字符串,以去除Google台头
position= strpos( result_string,"<p>table符号的位置
result_string= substr( result_string,0, position);//截取第一个<p>table符号之前的字符串,以去除脚注 应用与实现 OK,现在我们已经得到有用的HTML源码主干了,剩下的问题是如何自主地显示这些内容。我们再分析一下这些搜索结果条目,发现每个条目之间也是很有规律的用
分隔,也就是各成一个段落,按这个特点我们用explode()函数把每个条目切开: 语法:explode(string separator, string string); 返回一个数组,按separator切开后的各个小字串被保存在数组中。 于是:
result_array=explode("<p>", result_string); //用字串"<p>"把结果切开 我们就得到一个数组 result_array,其中每个元素都是一个搜索结果条目。我们所要做的仅仅是研究每个条目及其HTML显示格式代码,然后按要求替换就行了。下面用循环来处理 result_array中的每个条目。
for( i=0; i {
... //处理每个条目
} 对于每个条目,我们也很容易找到一些特点:每个条目都由标题、摘要、简介、类别、网址等组成,每个部分都换行,即包含<br>标记,于是再次分割:(以下处理程序放在上文的循环中)
every_item=explode("<br>", result_array[ i]); 这样我们得到一个数组 every_item,其中 every_item[0]就是标题, every_item[1]和 every_item[2]两行为摘要, every_item[3]和 every_item[4]等等的头部如果包含“<font size=-1 color=#6f6f6f >简介:</font>”、“< font size=-1 color=#6f6f6f>类别:< /font>”字符,则是简介或类别(因为有的结果条目没有该项),如果头部包含“< font color=green>”则肯定就是网址啦,这种对比判断我们常使用正则表达式(略),如果要替换也很方便,比如包含标题的$every_item[0],其本身是有链接的,我们希望修改这个链接属性,让它在新窗口打开链接:
echo eregi_replace(' {
... //处理每个条目中除去第一项(第一项为标题,已经显示)的每一项
... //更多格式修改
} 这样就修改了链接属性,其余很多显示格式的修改、剥离、替换都能用正则替换eregi_replace()来完成。 至此我们已经得到了每个搜索条目的每一项,并能任意修改每项的格式,甚至可以给他套上漂亮的表格。然而一个好的程序应该能适应各种运行环境的,这里也不例外,我们其实还只是讨论了搜索结果的HTML剥离的一种框架方法,真正要做得完美,还要考虑很多内容,比如要显示一共搜索出多少结果,分成多少页等等,甚至还可以刨除与Google相关的那些“类别”、“简介”等代码,让客户根本看不到原始网站。不过这些内容和要求我们都能通过分析HTML进行剥离得到。现在大家完全能自己动手,做个极富个性化的搜索引擎啦。
java有个HTMLParser包,专门用来分析HTML文件的。