求助Spark高手，如何用spark去除重复列数据

Question

如题，如何利用spark去除重复列数据
例如下面的五行五列的数据集，可以判断出重复列为第3，第4列，
然后去除第4列。
用java spark如何来实现，求高手帮忙，不胜感激。
{"ab","12","12","12","12"},
{"12","10","10","10","11"},
{"11","09","08","08","10"},
{"10","09","08","08","10"},
{"10","09","08","08","10"}

Answer 1

首先对行数据做hash（hash，sha256都可以），以hash值key，数据所在的行号数组，作为value，存入map遍历map，value数组的个数大于1就是有重复，只保留一个

Answer 2

所有column相加 (间隔加一个分割符) 得到K1，以K1作为key，原来的数据作为value，得到RDD1；（当然，这会导致数据存储空间翻倍，为减少数据占用空间，可以对K1做一个hash（比如求md5），作为新的key）；RDD1.groupByKey，(shuffle，比较耗时)