临时数据存储问题，大侠们来帮帮忙，给个思路

本帖最后由 cnkispider 于 2011-09-01 17:00:41 编辑

解决方案 »

  1.   

     
     已经过滤了，不同域名下的url直接抛弃了，但是占用的内存还是非常的恐怖，我想通过临时文件的方法，不知道是否可行？
      

  2.   

    用List吧，及时Remove掉已分析完成的项并保存到文件，这样内存不会不断累积。
      

  3.   

     是这样的，得到的链接通过过滤，把指定域名外的链接已经丢弃了，得到的正确的数据都存在vector里面，循环从这个vector里面去链接去抓，去完了链接之后回删除，还是会有非常的大的内存占用