求站点资源探索范例或思路

求站点资源探索范例或思路,类似Flashget的功能,十分感谢.

解决方案 »

  1.   

    站点资源探索其实就跟搜索引擎有点相似的抓所有的链接而已你可以把某个网站的首页抓下来然后从html里判断那个是连接，那个是图片，那个是外连。然后用遍历的办法进入深层的连接去找下一层的资源，当连接是外部的，比如这个站是vcsdn.com 当连接变成了vyahoo.com的时候就丢弃这个连接，应该大致就是这样。做起来应该也不是很难的
      

  2.   

    主体思路就是那样,分析连接.另外还要加上智能猜测,比如页面里出现了一个m5home.com/att/1.gif,那就得到了一个att目录.再在这个目录下猜测可能的常见文件名,比如default.asp,index.asp啥的.
      

  3.   

    还有，既然有 1.gif，那么可能也会有 2.gif、3.gif……
      

  4.   

    对对以前观察过FLASHGET的站点资源探测器,就是如此,做得比较智能.
      

  5.   

    有么？
    不过我一般不用flashget要想要那个站的数据了，就跟群里的兄弟打声招呼
    明后天那个站的站长就自动把数据给俺了