假设已经有spark程序在跑 现在想用spark job server提交一个jar 把spark里面的rdd取出来 然后转成dataframe
rdd转换dataframe我知道怎么做 现在就是spark job server怎么去取spark 里面的rdd眉头绪 如果都是job server 提交上去跑的job用命名rdd可以互相取到rdd 如果是两个spark程序 可以互相取rdd吗? jobserver可以取到spark里面的rdd吗 应该不在同一个sparkcontext中不能做吧
先不考虑把rdd先存到文件系统里 让jobserver去读 考虑直接从内存里去取 不知道有没有大神指点下 最近也一直在找资料看
rdd转换dataframe我知道怎么做 现在就是spark job server怎么去取spark 里面的rdd眉头绪 如果都是job server 提交上去跑的job用命名rdd可以互相取到rdd 如果是两个spark程序 可以互相取rdd吗? jobserver可以取到spark里面的rdd吗 应该不在同一个sparkcontext中不能做吧
先不考虑把rdd先存到文件系统里 让jobserver去读 考虑直接从内存里去取 不知道有没有大神指点下 最近也一直在找资料看
解决方案 »
免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货