Spark中的wholeTextFiles接口

Question

在通常的情况下，我们使用spark读取文件，会调用
sparkContext.textFile()方法，但是当我们的输入文件为大量的小文件时，这种方式读取效率比较低，会为每一个小文件产生一次task。于是我在官方查询，得知还有一个文件输入接口叫做：wholeTextFiles，官网解释如下：但是使用这个接口读取文件后，几个文件的内容会被拼接成一个string作为rdd返回，split切割导致字段混乱，有大神用过这个接口吗？

Answer 1

这个就相当于遍历某个文件夹下得所有数据  形成key-value得形式  key是路径 value就是文件内容！

Answer 2

同学你好。java 上面可以用 StringUtils.split(content,SeparatorUtil.separator_next) 得到一个数组，   SeparatorUtil.separator_next 是 ‘\n’。希望能够帮到你。