关于分区什么时候进行的问题spark分区是在maptask 到reduceTask的时候进行分区，还是说在sc.textFile就开始分区了呢我测试了一下，sc.textFile默认分区后我把每个分区的内容打印出来发现不是hash算法分区，但是当我经过了shuffle算子之后再打印各个分区的内容就是按照hash算法分区所以很疑惑，如果是sc.textFile就开始分区，那么假设3个block块，我在sc.textFile就指定5个分区，那就得将3个block块分成5个分区，那会很占用内存和网络资源（map取各个block块中的某一个分区），感觉有点不太合理啊，然后再经过shuffle算子，再次分区，感觉很慢啊;我在想是不是一开始sc.textFile在读取hdfs的数据时，按照平均的方式给每个一分区数据(例如：3个block块共384MB，5个分区就是各76.8Mb，每个map读取这76.bMB数据)，然后在经过shuffle算子的时候才开始按照hash算法分区，生成文件，再由reduce取各个节点的分区值，这样也能说的通，最后五个part-0000文件，shuffle过程的桶也是5*5=25
如数据源是HDFS上的文件，分区则是由该文件格式的InputSplit决定，一般分区数等同于读入文件的总block数（这块和MapReduce的MapTask是一样的逻辑）
如果数据源是HBASE表，则一个分区对应一个Region
如果数据源是KAFKA，则与topic分区对应
其他道理类似。至于说shuffle，spark默认有2种partitionor：一个是hash，另一个是range。hash你提到了。range则是由水塘抽样算法，计算出整个数据集的数据分布情况，再根据指定重分区数划分成对应个range，符合range的数据则会落到该分区中。