救命!~~再做不出要被炒了~求救~有关网页采集

Question

是要做一个需要登录后进行的网页采集的程序~之前也看了很多资料~可是一直测试不成功~      
      
  应该怎么做啊，一直没有头绪，现在老板说过在做不出就炒鱿鱼了，唉，求大侠帮一帮吧，实在不行，出点钱也可以啊，不想结婚前失业呀有的采集要登录后才能采集
其中就涉及到 session 和 cookie 的提交 
Referer","来路的绝对地址"

Answer 1

这种一般都是用fsocket模拟登陆,然后再获取所有内容,再用正则取出想要的数据.

Answer 2

去下載采集類snoopy.class.php，專干這事的，輕松搞定

Answer 3

炒吧.没有什么大不了.没有压力就没有动力....
这个查一下资料很多
curl和snoopy类都可以

Answer 4

用curl.exe 的话，批处理文件只需要两行代码，就可以实现登录批量采集
用libcurl 的话，100行代码内可实现你的需求。具体看这个帖子中，关于我的回复http://community.csdn.net/Expert/TopicView.asp?id=5624377

Answer 5

我前段时间也在搞这个
结果是crul可以成功!
其他方法没试过!snoopy.class.php不行的!他的登陆不过是个模拟的,根本无法获取传递cookie,更别说获取其他页面!
<?php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "http://www.discuz.net/index.php");
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1); //如果希望获得内容但不输出,使用该参数,并设为非0值
curl_setopt($ch,CURLOPT_COOKIE,'cdb_sid=djibyM'); //cookie|session都添这
$re = curl_exec($ch);
curl_close($ch);
echo $re;
?>
喜悦的源码,你可以试下先登陆DZ,然后将cookie添入,注意你登陆cookie一定要保存在本机里头,如果虚拟主机测试把dz cookie放到根目录下就可以了!
不过DZ的cookie是变化的几小时变一次!crul在服务器上不是默认开启不实用!
上面的cookie已经没用,你自己去获取最新的!

Answer 6

登陆是用户行为。curl snoopy.class.php 其他的，都是对这个过程进行模拟。也就是发送个cookie而已，修改下http头信息。

Answer 7

curl
fsockopen都可以，很简单的。