需求如下：前提：
mysql数据库里面有3000万条数据，有效数据（需要处理的数据）约为10%，月增长率为300万条需求：
1、需求是一次性查询出源数据中有效数据300万条逐条执行，根据表中具体某一字段去三方(三方接口包括Dubbo接口以及Rest接口)请求执行条件，三方接口返回数据后判断本条数据是否满足执行条件，满足则触发执行规则，不满足则执行下一条
2、第一批执行结束后，继续执行第二遍，二十四小时不停顿当前处理方案：
Tomcat 2台服务器集群 每个tomcat 十条线程 合计二十个线程 while循环执行，执行至本条数据时锁定，其他线程执行到时忽略 现状：
随着数据量越来越大这种方案的时效性越来越差 执行一遍所花的时间越来越长，需要找出一个更加合理的解决方案，需要服务器扩展方便推测可用Storm或者Spark集群来完成，目前没有合适的实现方式
请各位大牛给点思路，小弟在此拜谢了
mysql数据库里面有3000万条数据，有效数据（需要处理的数据）约为10%，月增长率为300万条需求：
1、需求是一次性查询出源数据中有效数据300万条逐条执行，根据表中具体某一字段去三方(三方接口包括Dubbo接口以及Rest接口)请求执行条件，三方接口返回数据后判断本条数据是否满足执行条件，满足则触发执行规则，不满足则执行下一条
2、第一批执行结束后，继续执行第二遍，二十四小时不停顿当前处理方案：
Tomcat 2台服务器集群 每个tomcat 十条线程 合计二十个线程 while循环执行，执行至本条数据时锁定，其他线程执行到时忽略 现状：
随着数据量越来越大这种方案的时效性越来越差 执行一遍所花的时间越来越长，需要找出一个更加合理的解决方案，需要服务器扩展方便推测可用Storm或者Spark集群来完成，目前没有合适的实现方式
请各位大牛给点思路，小弟在此拜谢了
解决方案 »
免费领取超大流量手机卡，每月29元包185G流量+100分钟通话, 中国电信官方发货