安装的版本分别是:
Ambari: 2.4.1
Spark: 2.0.0
Hadoop: 2.7.3
ZooKeeper: 3.4.6
安装完成后用yarn方式提交运行Spark程序是没有问题的,因为项目需要,现在想使用Spark自己的Standalone方式提交任务,请问需要怎么配置后可以实现呢? 自己按照独立Spark的方式 配置后,运行spark-shell和自己的程序一直报错:
ERROR StandaloneSchedulerBackend: Application has been killed. Reason: Master removed our application: FAILEDThe currently active SparkContext was created at:
(No active SparkContext.)java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext.ambari安装spark的结果:
Ambari: 2.4.1
Spark: 2.0.0
Hadoop: 2.7.3
ZooKeeper: 3.4.6
安装完成后用yarn方式提交运行Spark程序是没有问题的,因为项目需要,现在想使用Spark自己的Standalone方式提交任务,请问需要怎么配置后可以实现呢? 自己按照独立Spark的方式 配置后,运行spark-shell和自己的程序一直报错:
ERROR StandaloneSchedulerBackend: Application has been killed. Reason: Master removed our application: FAILEDThe currently active SparkContext was created at:
(No active SparkContext.)java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext.ambari安装spark的结果:
解决方案 »
- rpc代码部分zeromq实现有一个疑问
- 求高人大侠推荐几款适合云计算的备份开源软件
- 求助:找不到对应的代码啦?
- 想搞个sifu,出于预算考虑,想自己DIY,预估3K左右在线人数,这样的配置OK不?
- linux主机下amh和wdcp那个好用些?占内存少?
- 伪分布模式下jobtracker和tasktracker无法启动问题
- 请教下各位大神 我在用aws s3 bucket~我想让bucket下的文件上传后可以在公网访问~ 但是我开放后访问一直是401.。unauthorized~~
- JS写的MSD分配法 排序结果是错的
- 部署OS时总是提示警告没有找到介质
- docker能不能实现debug状态下热加载
- win 10 虚拟机 上能否安装docker ?
- 刚接触spark 遇到个问题 怎么才可以使用spark job server 把spark中的rdd取出来
2) You need to start the Spark Workers on all your slave nodes.
3) Submit your application using "--master spark://master:7077", or point to this master URL in your application.
4) Last but no least, why do you want to use standalone mode, if you already have YARN? This is a strange requirement