broadcast 出现OOM

Question

.set("spark.executor.instances", "16")
.set("spark.executor.cores", "3")
.set("spark.executor.memory", "16G")broadcast( Hashmap结构 ) 
Hashmap结构  存放数据40--50MB之间，怎么会出现OOM呢？按理不是每台机器备份一份数据吗，每台也就50MB,16个节点

Answer 1

.set("spark.executor.memory", "16G") 虽然这里是设置了16g ，但也要看你的节点上的内存真正剩下多少，假如值剩下20MB,那么你这里设置这么大，也是起不来作用的

Answer 2

broadcast是在每个executor上有一份数据，不是在每个节点上，另外，你确定OOM是因为broadcast引起的吗？