大量数据去重哈希函数算法，求帮助

Question

需求是 在内存中有上亿条数据 里面很多重复的数据 现在决定用bloom filter 映射到哈希表里，但是用什么哈希算法 不知道 求解答
这个数据是一个通过md5 16位加密后的串 然后又拼接了一个字符串，字符串长度在30左右，

Answer 1

什么哈希算法？你不是说了用MD5了吗，
这个是java写的MD5例子http://www.bitscn.com/plus/view.php?aid=21188

Answer 2

MD5是第一次处理了一下一个字符串 因为MD5处理之前有很多重复数据 然后又拼接了一部分字符串  然后对这个拼接后的长字符串在做一次哈希表的映射  我不知道该用什么算法  他是用来去除拼接后字符串的重复值的