我有一个功能要采集别的网站的内容,现在的机制是每次客户端访问网页的时候程序都进行采集,这样太浪费资源了,我想把它做成规定时间后采集,比如说如果数据库中已经有该内容了,每一小时后采集。如果没有的话现在就采集,该怎么做呢?

解决方案 »

  1.   

    另外具体怎么做呢?缓存的形式是什么?txt?整体还是部分的?能给一个网页介绍么?
      

  2.   

    如果在数据库中加入一个字段,这个字段存的是客户端第一次访问的时间,在php程序中判断这个时间,如果超过一个小时就进行新的采集,如果没有,则不进行采集,不知道这个方法和生成缓存文件比起来哪个更好。
      

  3.   

    couchdb。把页面放在那里,设置过期的时间,couchdb会自动处理的。