问题描述:
    我用maven创建的项目,就导入了一个scala-sdk-2.11.8库,其他什么也没导入,也没导入网上说的spark-assembly-*-hadoop*.jar各种jar包,但是我setMaster('local'),运行没有问题,但是参数改为setMaster('spark://1172.17.0.2:7077)),会出现以下错误提示:
18/10/13 09:15:54 WARN StandaloneAppClient$ClientEndpoint: Failed to connect to master 172.17.0.2:7077
org.apache.spark.SparkException: Exception thrown in awaitResult

因为我的spark实在docker环境下跑的,所有地址是172.17.0.2
请问大佬们,到底哪里出了问题?

解决方案 »

  1.   

    按照道理来讲的话 应该不是在你打完jar包之后在通过命令脚本运行的么?
      

  2.   

    你的spark集群启动了吗?
      

  3.   

    如果打成jar放集群,是没有问题的,但我用Idea直接右键运行多方便,哈哈,老打包麻烦
      

  4.   

    嗯嗯,spark集群启动了
      

  5.   

    我在eclipse 中也是 不行的   ,报错的 意思大概是  “ 这种方式不能直通过 sparkContext 来设置 , 要用 spark-submit”  委婉的告诉了我要想设置设置除了“local”其他的方式它不支持,要其他的模式 就要用  spark-submit 提交 jar包