如何防止别人整站的下载自己的网站？

Question

我是的只是技术的问题，服务器就不要考虑了
现在是整站为html，为了更好的支持google等的搜索服务，也是这个目的。但现在很多整站下载的软件很容易就把你的网页给下了，不知道大家有什么好意见。

Answer 1

防止恶意下载的方法很多，有使用cookie或验证码等，但是对google/baidu等的蜘蛛服务器又难以做优化,是不是可以直接返回文章的部分，要读全文就需要登陆/输入验证码，在安全和搜索引擎间做一个平衡
或者有更好的做法？

Answer 2

前提是要保证搜索
-------------------------
google的spider服务器们的ip应该是不断变化的，如果发现内容不一致可能会认为你隐藏，让google搜到和一般用户看到不一样的，听说好像有，是米国的时代周刊，部分内容可以在google上搜到却不能访问。不知道是怎么做的

Answer 3

我用webzip好象没什么不能下的,以前经常用这个下文档资料

Answer 4

httphandler可以在》NET中重写URL
不知道html文件放进来可不可以，搂住可以试试

Answer 5

我也常用webzip下载别人的网站资源，唉现在轮到自己了

Answer 6

不希望开放的页面就要判断用户权限。搜索引擎能访问的页面，别人的程序一样能爬，而且会爬得更多，因为不需要顾及网站上对机器人的配置文件。全站Ajax也一样可以被搜索引擎使用，例如所有内容控件都有一个“isRobot”属性，然后控件的代码就像你判断页面的 isPostback 属性一样判断这个属性，当它为 true 的时候将所有信息“一次性加载、展开、追加内容链接”，而为false的时候才处理成折叠、浮动、回发、回调形势。剩下的就是判断客户端是机器人的工作，并且要识别出那些假冒搜索引擎的机器人。

Answer 7

sp1234(满城尽是意淫女——如果百度收购腾讯，市场战胜技术)
------------------------------
用ajax ，当用户点击的时候才加载内容，这样能被搜索引擎所支持吗？
还要我对假冒搜索引擎的机器人不是很了解，可以提供些介绍？？？
最后，感谢你的回复

Answer 8

我想问一下，如果我用纯AJAX做网站，搜索引擎能收录我的页面吗？客户端异步发送/接收数据，JS+DOM组合出界面。根据我个人对AJAX的理解，搜索引擎好象无法收录这样的页面。

Answer 9

如果是 sprider 就用 soap协议,添加一个 robot.txt文件

Answer 10

我想问一下，如果我用纯AJAX做网站，搜索引擎能收录我的页面吗
——————————————————————————————————————————
搜索引擎访问的时候会在http信令头部参数上生命自己的名称。既然你可以使用Ajax动态加载细节数据，就一定可以在页面装载的时候一次性地“摊开”所有细节数据（对每一个内容来说这几乎仅仅是判断一个参数就能解决，增加不了几条语句），并且故意增加一些将网站内容相互联系的路径。如果你有一个正确设计的CMS，这仅仅在比较高层上去定义好接口，规定你的CMS下各种类型的内容都应该继承此行为就行。这相当于你为搜索引擎单独做了一套网站页面。但是代价很小。

Answer 11

只要提供了搜索引擎用来记录其身份的名称，基本上我觉得很难立刻区分哪些不是真正的搜索引擎。robot.txt文件并不能让别人读取数据，因为可以不按这个规则来爬行。大量使用Ajax可以防备别人读取数据。当页面Init时判断客户端是搜索引擎，可以传递给内容控件展示转为搜索引擎准备的界面，让它只能看到你让它读取的内容，例如将所有关联内容都直接列出来（而不是动态显示）但是所有详细内容和关联内容都仅仅显示梗概信息。

Answer 12

bighead(bighead1997) ( ) 信誉：100    Blog  2006-12-21 21:13:31  得分: 0  
 
 
   
防不住的,也没必要防,网络就是给人看的,你怕人看又何怕放到网上?如果怕被人批量下载,是不是可以限制一个IP地址的浏览量?或者,在页面中加入不影响阅读的,难以直接删除的代表你的站点的字符串.比如每隔一段就加上自己的网站名称,而且这个名称要用不同的字符分隔开让别人没办法直接替换掉.  
 
同感！

Answer 13

zhaozhao110  方法好毒  这样也好累...

Answer 14

sp1234(满城尽是意淫女——如果百度收购腾讯，市场战胜技术) 
－－－－－－－－－－－－－－－－
感谢你的回复！
对于你的话，我反复参考了几次，也对些关键性词语作了大量搜索。但具体做法还不是想的清楚。
1，一次性地“摊开”所有细节数据＝？你的意思是说生成静态html页面后，把所有内容都生成，只是用些hidden属性隐藏？隐藏后的内容会被认为违反了搜索把，而且这样做就无ajax之说了。
2，增加一些将网站内容相互联系的路径＝？是指增加些 如 ：相关内容，热点内容的栏目？
3，当页面Init时判断客户端是搜索引擎，可以传递给内容控件展示转为搜索引擎准备的界面，让它只能看到你让它读取的内容，但是所有详细内容和关联内容都仅仅显示梗概信息。＝？这样做就不能搜索到我文章的主要内容信息了，你是想让我显示梗概信息，也只让搜索引擎搜索梗概信息？在用户点击时才异步读取详细内容？

Answer 15

有些网站google都可以搜索到，
但是没有注册就是打不开，
不指导怎样做到的。
http://www.dianshijin.net/

Answer 16

没办法------------------------------------
您的经营之道 http://info.7ecity.com/