应用程序提交到spark集群中 一般是怎么做的  

解决方案 »

  1.   

    ${SPARK_HOME}/bin/spark-submit  --class [main方法类全名] --deploy-mode [client/cluster] --master spark://[masterIP:port] [jar包路径] [参数]
    参见官方文档
      

  2.   

    类似这种:
    String tmp = "/home/hadoop/spark-spring-0.0.1-SNAPSHOT.jar";
    args = new String[]{
    "--master","spark://master:7077",
    "--deploy-mode","cluster",
    "--name","test java submit job to spark",
    "--class","br.com.spark.JavaWordCount",
    "--executor-memory","512m",
    tmp
    };
    SparkSubmit.main(args);
    但是 我没有跑通,这是在我本地开发环境提交的;
      

  3.   

    https://github.com/spark-jobserver/spark-jobserverSubmit your java spark job through REST API.
      

  4.   

    在程序里面提交,好像要通过org.apache.spark.launcher.SparkLauncher类,变成jar包,采用java命令方式提交Spark应用,具体你可以Google看看