问个关于页面抓取的

Question

当我去抓取一个页面内容时，那个页面有个go标签，或者a标签，又或者是window.location做的页面跳转，
我自己试了下，response.sendR...重定向的就可以得到重定向后的网址，但是用标签跳转的就得不到，
怎么能得到跳转后页面的内容呢，

Answer 1

先设置一下 request head referer 为你抓取网站的网址，然后再试着抓取一下。

Answer 2

因为不是重定向跳转的，我不知道其它组件能不能做到。
比如
<script>
  window.location='www.baidu.com';
</script>
这种的不知道怎么得到它跳转后的网址，因为并不确定网页中它是用什么跳转的，也许top.location,也许写在head里response.sendRedirects像这种的我可以直接得到跳转后的网址，