请教一个问题：spark数据清洗的结果为RDD[(String, String)]类型的rdd，在这个RDD中，每一个元素都是一个元组。元组的key值是文件名，value值是文件内容，我现在想把整个RDD保存在HDFS上，让RDD中的每一个元素保存为一个文件，其中key值作为文件名，而value值作为文件内容。应该如何实现呢？RDD好像不支持遍历，只能通过collect()方法保存为一个数组，再进行遍历，但是这样可能会把内存撑爆，目前的做法是先把RDD通过saveAsTextFile方法保存在HDFS上，然后再使用FSDataInputStream输入流对保存后的part文件进行遍历读取，使用输出流写到HDFS上，这样很耗时。请问有没有好一点的方法，可以直接把RDD的内容写到HDFS上呢？
解决方案 »
免费领取超大流量手机卡，每月29元包185G流量+100分钟通话, 中国电信官方发货