spark配置worker节点数量


大神帮我看看 ，配置worker_instances=1  ，但是用 ./sbin/start-all.sh 启动后出现了4个worker节点，这是为什么，和我的启动方式有关？

解决方案 »

  1.   

    看看你$SPARK_HOME/conf/slaves的配置
      

  2.   

    楼主怎么解决的呢？我现在遇到了一样的问题，我没有设置这个参数，启动的时候是两个workers，跑脚本的时候变成了四个
      

  3.   

    我也是遇到过这个问题 关闭spark集群 从新启动的就好了 。 出现这个问题的原因 可能是因为 spark启动集群的时候，在不同的节点启动了两次。 正常请求只在主节点启动一次 。 （这种情况是针对在搭建spark集群的采用的指定master节点的原因）如果是配置spark HA集群的话 。。我就不太清楚了