解决方案 »

  1.   

    感觉全部用redis做不是特别合适,可以把已经执行过的用户与url放到redis中。这样去重的速度便上去了。任务执行的时候先在redis中判断下,如果重了,就再加个用户执行。不用redis也是可以的,把用于去重的部分放到数据库的一张表中。并在内存中缓存这部分内容,要自己维护与数据库的一致性。
      

  2.   


    感谢你的回答  目前的做法和你说的第一种类似,去重使用redis  weiboUrl:accountToolId 链接和帐号对应 方便去重  本想将帐号信息存入到redis,这样发现重复帐号直接可以去reids中取 redis速度远快于数据库方式  不过设计稍显复杂目前只想到类似这种:key:0:1:1  (account1,account2)   修改帐号状态还得拼串等   查找帐号使用数据库方式还是有些慢 不过速度还可以接受