前两天困惑的面试题,求大佬解答

Question

题目: 给你一个500G的文件, 用java算出其中重复最多的记录

Answer 1

按这个量级，要效率的话我脑海里只有一个词hadoop

Answer 2

map-reduce思想； 500g文件可以拆分成多个小文件，写一个程序统计一个文件中每条记录的次数（文件作为输入，输出为记录与记录次数的Map映射  Map可以按key排序）。再写一个程序将上一个程序的输出作为输入，和并map中key相同的记录。