如题, 执行shuffle操作的时候,某个executor只执行4个task(一共600个task,25个executor),却用了其它task十倍的时间,从records数量上看并没有发生数据倾斜,会是什么原因呢?求大神给个思路。Duration GC Time Shuffle Read Size / Records Write Time Shuffle Write Size / Records
11 min 0.2 s 19.5 MB / 1907846 1 ms 1057.8 KB / 41795
11 min 0.2 s 19.5 MB / 1907847 1 ms 1057.8 KB / 41796
11 min 0.2 s 19.5 MB / 1907682 2 ms 1059.4 KB / 41680
11 min 0.2 s 19.0 MB / 1864418 1 ms 1046.4 KB / 41355
1.4 min 0.1 s 19.6 MB / 1915753 1 ms 1070.8 KB / 42178
1.3 min 0.1 s 19.6 MB / 1915776 1 ms 1060.9 KB / 41836
1.3 min 0.1 s 19.3 MB / 1893004 1 ms 1058.2 KB / 41551
1.3 min 0.1 s 19.5 MB / 1913056 1 ms 1061.2 KB / 41777
11 min 0.2 s 19.5 MB / 1907846 1 ms 1057.8 KB / 41795
11 min 0.2 s 19.5 MB / 1907847 1 ms 1057.8 KB / 41796
11 min 0.2 s 19.5 MB / 1907682 2 ms 1059.4 KB / 41680
11 min 0.2 s 19.0 MB / 1864418 1 ms 1046.4 KB / 41355
1.4 min 0.1 s 19.6 MB / 1915753 1 ms 1070.8 KB / 42178
1.3 min 0.1 s 19.6 MB / 1915776 1 ms 1060.9 KB / 41836
1.3 min 0.1 s 19.3 MB / 1893004 1 ms 1058.2 KB / 41551
1.3 min 0.1 s 19.5 MB / 1913056 1 ms 1061.2 KB / 41777
解决方案 »
免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货