抓取被封帐号

Question

    我抓取某网站数据,帐号经常被封,不知道什么原因?网站会根据何种情况来判断我是机器抓取而不是正常登陆的呢?!

Answer 1

从技术上解决问题。。就是cookie和refurl都要带上减少K的机会抓取一段时间要休息下不要累死服务器哒

Answer 2

那是一个数据时时变化的动态网站,需要尽快的不断抓取变化的值,有时还要POST,不过这些我都没弄,登录以后,只管下载当前最新数据,经常是一退出就再也进不去了,我想问,为什么不直接把我K出来呢?!