安装的版本分别是:
Ambari: 2.4.1
Spark:  2.0.0
Hadoop: 2.7.3
ZooKeeper: 3.4.6
安装完成后用yarn方式提交运行Spark程序是没有问题的,因为项目需要,现在想使用Spark自己的Standalone方式提交任务,请问需要怎么配置后可以实现呢?  自己按照独立Spark的方式 配置后,运行spark-shell和自己的程序一直报错: 
ERROR StandaloneSchedulerBackend: Application has been killed. Reason: Master removed our application: FAILEDThe currently active SparkContext was created at:
(No active SparkContext.)java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext.ambari安装spark的结果:
 

解决方案 »

  1.   

    1) You need to start the Spark Master demon.
    2) You need to start the Spark Workers on all your slave nodes.
    3) Submit your application using "--master spark://master:7077", or point to this master URL in your application.
    4) Last but no least, why do you want to use standalone mode, if you already have YARN? This is a strange requirement
      

  2.   

    在master上进入目录::/usr/hdp/2...../spark2/sbin,运行:./start-all.sh,就可以启动standlone模式,只是配置文件不能再ambari里统一管理