RDD算子中如何访问Hive的数据

Question

rdd.map(m=>{
      htx.sql("select * from test")
    })像这样，访问不了Hive的数据，报错
那如何在算子里面访问Hive的数据，跪求

Answer 1

在算子里创建HiveContext啊

Answer 2

你是直接下载官网编译好的Spark？这样只能用HiveQL访问在HiveContext注册的表而不能访问Hive的表。要访问Hive你必须下载源码指定Hive版本进行编译

Answer 3

这个也是一种方法，可是用没有办法把drivers端定义的HiveContext传到算子里面，

Answer 4

这个也是一种方法，可是用没有办法把drivers端定义的HiveContext传到算子里面，
Spark2.0 可以通过SparkSession.builder.sparkContext(ctx).getOrCreate() 得到

Answer 5

这个也是一种方法，可是用没有办法把drivers端定义的HiveContext传到算子里面，
或者你测试下把Driver端的HiveContext broadcast出去