最近在用PHP做一个团购导航网站,现在遇到性能问题 最近在用PHP做一个团购导航网站,现在遇到性能问题现在网站收录近300个团购网站API,每次数据采集时需要花近30分钟(每采集一个网站sleep 秒钟),在采集过程中,MYSQL服务器响应速度非常慢,以致于访问团购导航网站也变慢。PHP采集使用的是 php DOMDocument解析的,通过LINUX定时任务,每45分钟更新一次所有团购网数据,主要更新已卖商品数。各位有没有好的建议 解决方案 » 免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货 第一种办法:用某种支持多线程的语言来做。第二种,将那300个网站划分成N个任务,然后生成[300/N]或[300/N]+1个PHP文件,里面包含一些关于分组网站的数据,然后用CRON,同时进行这N个任务就可以了 to snmr_com团购网没有盈利,公司暂时也只有一台服务器 个人觉得,更大可能是相关代码问题这么个简单的采集,就能让数据库变慢,具体慢在哪???狂占CPU资源?还是数据库链接,都是可能的 首先分析log, 找到慢在什么地方....什么原因.... to bear63方维网团购就是这样做的,他专做了一个客户端采集http://dh.fanwe.com/index.php?m=GroupNav&a=index&试想一下,一个API有数据300条,用PHP 的DOMDocument解析并装入数据库,各位写PHP大概需要多少时间能将所有数据装入数据库(插入数据库前要查询数据库这条记录有没有被写入数据库,已写入的话就更新)API如下http://open.client.lashou.com/v1/hao123 可以先采集,采集的时候生成SQL语句,采集完成之后再一次导入到数据库中! 隔行换色的老问题? 求助一个php 操作 DOMDocument的问题 关于static,这个循环为什么能一直进行下去?? 刚学php,问个傻瓜级问题 数组问题 php pchart显示中文的问题 关于 mb_convert_encoding函数编码转换问题(急..在线) dz的,要实现完全的rewrite,修改.htaccess文件,代码是什么 php+mysql最好使用的分页函数。 用 setcookie() 函数怎样设置永久保存的COOKIE?谢谢高手指点。 list 的疑问 php伪静态 mod_rewrite 重写问题??
第二种,将那300个网站划分成N个任务,然后生成[300/N]或[300/N]+1个PHP文件,里面包含一些关于分组网站的数据,然后用CRON,同时进行这N个任务就可以了
这么个简单的采集,就能让数据库变慢,具体慢在哪???狂占CPU资源?还是数据库链接,都是可能的
http://dh.fanwe.com/index.php?m=GroupNav&a=index&试想一下,一个API有数据300条,用PHP 的DOMDocument解析并装入数据库,各位写PHP大概需要多少时间能将所有数据装入数据库(插入数据库前要查询数据库这条记录有没有被写入数据库,已写入的话就更新)
API如下
http://open.client.lashou.com/v1/hao123