php爬虫求伸手QAQ

Question

小白想做爬虫。主要是更新一些价格信息。
因为有几十万的url需要去访问。其中会有404死链接。应该如何去判定url的404状态码。并且自动更新到数据库。
还有判定其他的信息并也更新至数据库。
大致流程如图。求大神伸伸手~小弟小红包感恩~

Answer 1

可以使用get_headers去判断
例如$url = 'http://www.baidu.com/abc/1.html';
$data = get_headers($url, true);if(strstr($data[0],'404')!=''){
    echo '404';
}