最近有个任务是持续轮询的将redis的数据写入hdfs,对spark的调用就是简单的一句 spark sql insert table xxxx
spark版本 2.3.2 ,driver(16g) , 7 executor(8g)
但就是这个简单任务发现executor的内存不断上升(driver不会,rss已到5G),但看jvm却一点问题没有,以下是通过vjtools的vjtop监控截屏,初步怀疑是Netty的堆外内存导致的,但不知要如何设置才能避免这种问题?
运行一天,内存不断上升,swap也开始使用了,等swap用完估计executor就会dead了