实践证明file_get_contents 在抓取页面的时候会自动跳转，有真相

Question

本帖最后由 lovewangya 于 2011-02-02 13:14:51 编辑

Answer 1

file_get_contents这个函数本来就不是专门用来做这个工作的，因为先天就不足，还是建议使用CURL或者SNOOPY来完成这些功能，会强大稳定并且简单很多

Answer 2

用curl吧，模拟登录 http://i.sohu.com/ 这个页面首先是检测你是否登录了，如果没有 则调转到 http://i.sohu.com/login/logon.do所以 用curl模拟登录 并存储cookie 最好不过了

Answer 3

应该不能自动跳转吧。。~ 你看看有没有js脚本之类的有的话用正则把JS脚本删除掉就OK了

Answer 4

有大牛说这个也可以模拟POST等操作的。
我一般用fsockopen

Answer 5

用这个吧，这是我正在用的。肯定好用，抓到的内容输出到textarea里看下//取得网站内容
function vspider_get($url)
{ 
$header = array("Referer: $url"); 
$ch = curl_init(); 
$user_agent = "Baiduspider+(+http://www.baidu.com/search/spider.htm)";//这里模拟的是百度蜘蛛
curl_setopt($ch, CURLOPT_URL, $url); 
curl_setopt($ch, CURLOPT_TIMEOUT, 10); 
curl_setopt($ch, CURLOPT_HTTPHEADER,$header); 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION,1);  //是否抓取跳转后的页面
curl_setopt($ch, CURLOPT_USERAGENT, $user_agent);
ob_start(); 
curl_exec($ch); 
$contents = ob_get_contents(); 
ob_end_clean(); 
curl_close($ch); 
return $contents; 
} 

Answer 6

fsockopen不错fsockopen
(PHP 4, PHP 5)fsockopen — Open Internet or Unix domain socket connection说明
resource fsockopen ( string $hostname [, int $port = -1 [, int &$errno [, string &$errstr [, float $timeout = ini_get("default_socket_timeout") ]]]] )
Initiates a socket connection to the resource specified by hostname. PHP supports targets in the Internet and Unix domains as described in 所支持的套接字传输器（Socket Transports）列表. A list of supported transports can also be retrieved using stream_get_transports(). The socket will by default be opened in blocking mode. You can switch it to non-blocking mode by using stream_set_blocking(). 参数hostname 
If OpenSSL support is installed, you may prefix the hostname with either ssl:// or tls:// to use an SSL or TLS client connection over TCP/IP to connect to the remote host. port 
The port number. errno 
If provided, holds the system level error number that occurred in the system-level connect() call. If the value returned in errno is 0 and the function returned FALSE, it is an indication that the error occurred before the connect() call. This is most likely due to a problem initializing the socket. errstr 
The error message as a string. timeout 
The connection timeout, in seconds. Note: If you need to set a timeout for reading/writing data over the socket, use stream_set_timeout(), as the timeout parameter to fsockopen() only applies while connecting the socket. 返回值
fsockopen() returns a file pointer which may be used together with the other file functions (such as fgets(), fgetss(), fwrite(), fclose(), and feof()). If the call fails, it will return FALSE 错误/异常
Throws E_WARNING if hostname is not a valid domain. 更新日志
版本 说明 
4.3.0 Added support for the timeout parameter on win32.  
4.3.0 SSL and TLS over TCP/IP support was added.  
范例Example #1 fsockopen() Example<?php
$fp = fsockopen("www.example.com", 80, $errno, $errstr, 30);
if (!$fp) {
    echo "$errstr ($errno)<br />\n";
} else {
    $out = "GET / HTTP/1.1\r\n";
    $out .= "Host: www.example.com\r\n";
    $out .= "Connection: Close\r\n\r\n";
    fwrite($fp, $out);
    while (!feof($fp)) {
        echo fgets($fp, 128);
    }
    fclose($fp);
}
?> 
Example #2 Using UDP connectionThe example below shows how to retrieve the day and time from the UDP service "daytime" (port 13) in your own machine. <?php
$fp = fsockopen("udp://127.0.0.1", 13, $errno, $errstr);
if (!$fp) {
    echo "ERROR: $errno - $errstr<br />\n";
} else {
    fwrite($fp, "\n");
    echo fread($fp, 26);
    fclose($fp);
}
?> 注释
Note: Depending on the environment, the Unix domain or the optional connect timeout may not be available. 
Warning 
UDP sockets will sometimes appear to have opened without an error, even if the remote host is unreachable. The error will only become apparent when you read or write data to/from the socket. The reason for this is because UDP is a "connectionless" protocol, which means that the operating system does not try to establish a link for the socket until it actually needs to send or receive data. Note: 当指定数值型的 IPv6 地址(例如 fe80::1)时必须用方括号将 IP 围起来——例如， tcp://[fe80::1]:80。