怎样防止别人的程序自动抓取我的网页

Question

不管你做的多么好,那也是html或者javascript之类的显示的。
没办法!
放弃吧！

Answer 1

直接修改apache的配置利用ip useragent 和referer等技术
但是像彻底防止，不太容易。

Answer 2

回复人： jstones(jonny) ( ) 信誉：100  2005-10-14 14:45:00  得分: 0  
 
 
   不管你做的多么好,那也是html或者javascript之类的显示的。
没办法!
放弃吧！
===================肯定最后都可以看到 这是协议先天的 没有办法
但那是“你”可以看到
机器人只会重复简单的有规律的事情
 回复人： yunfeifan(云飞凡) ( ) 信誉：94  2005-10-14 14:57:00  得分: 0  
 
 
   直接修改apache的配置利用ip useragent 和referer等技术
但是像彻底防止，不太容易。
============
确实 远程打开的一般都没有发送user-agent

Answer 3

没有什么好的办法吧，如果用apache骗骗简单的人还行，不过抓网页的人都比较专业，所以好像很难

Answer 4

to GaoXX(我即老高，老高即我)远程抓取也可以伪造useragent ,这样的事情只要不是太出格就完了，如果太出格就封ip吧也可以考虑js，把部分代码隐藏，不过都是对一些不太懂得人。

Answer 5

可以做到的，大的网站像Yahoo，google，ebay都有这个功能。我不能多说了。:D

Answer 6

Yahoo google ebay我都抓了。你重新列几个吧。

Answer 7

我不知道了。你抓eBay的商品目录了么？或者猜雅虎用户的密码？或者抓google所有的搜索结果？

Answer 8

抓网页的技术叫做网络蜘蛛就是由于机器人(Bot)通过自动程序,一直抓取网页, 有深度搜索和广度搜索, 抓取后保存在cache中,然后其他程序来分析文件,提取有用信息保存起来.

Answer 9

嗯。web上的东西只要眼睛能看到的就100%能抓。多加些限制，只是难度不同罢了。连图片都不保险，一些图片识别软件还不到1M。所以现在的识别码图片都做得严重变形，差点眼睛都认不出来了。

Answer 10

你抓eBay的商品目录了么？或者猜雅虎用户的密码？或者抓google所有的搜索结果？
*********************别的不知道---或者抓google所有的搜索结果？---这个我公司有个达人做到的.用什么写的,没问.