Spark如何Kill掉application

项目需要，要对spark的一些任务进行监控，有些任务积压过多，要kill掉。
求大家指导一下，如何kill掉提交的application

解决方案 »

  1.   

    spark rest 客户端有停止job的函数
      

  2.   

    我看一些官方的文档，是没提供停止job的函数。spark有一个隐藏的rest API，您指的是否是这些呢？
    ================================>>>
    spark rest 客户端有停止job的函数 
      

  3.   

    Spark里面有命令可以直接杀掉，具体命令你需要查一下，反正是有的。
      

  4.   

    spark里，我看到的kill掉application的方法，都是要知道driverid的，这种方法适用于通过rest去提交的任务。我们现在工程里，都是用脚本提交的
      

  5.   

    yarn application -list 查询所有的任务；
    然后使用yarn application -kill <appId> 
      

  6.   

    一个思路 在ui处看kill所发送的请求 找到api后调用api后面的函数 
    不知道行不行
      

  7.   

    /stages/stage/kill/?id=1701
      

  8.   

    直接在你spark集群的web客户端页面就可以啊，找到相应的Application，点击kill
      

  9.   

    spark有一个隐藏的rest API 为什么apache 官网上找不到啊