大数据量比对问题

Question

问题提出：在两个数千万到数亿记录的表中找出指定字段相同的记录。已有思路：将两个表切片，然后将数据分发到多台机器上去执行比对，问题是如果每个表切成10片，就会产生100个组合，同时分发到100台机器去执行显然不太可能。求更好的解决方案。

Answer 1

两个表啊，哥哥，一百万乘一百万那得多少个SQL啊。2012也做不完了。

Answer 2

大量的SQL会占用太多的数据库服务器资源，另外一百万级的SQL查询性能上也不能满足需求，用户需求是响应时间10分钟，最多不能超过20分钟。所以才会有多台机器共同工作的方案出现。