spark 1.4.0 从impala加载数据

Question

var impala_host = "hadoop-datanode1" //默认使用Hadoop的Datanode1节点连接  def loadDataFromImpala(sqlContext: SQLContext, tableName: String): DataFrame = {    val df = sqlContext.read.format("jdbc").options(Map(
      "url" -> s"jdbc:hive2://$impala_host:21050/;auth=noSasl",
      "driver" -> "org.apache.hive.jdbc.HiveDriver",
      "dbtable" -> tableName)).load()
    df
  }
spark从1.3.1升级到1.4后,从impala加载数据报错，求解！！Exception in thread "main" java.sql.SQLException: Method not supported
at org.apache.hive.jdbc.HiveResultSetMetaData.isSigned(HiveResultSetMetaData.java:195)
at org.apache.spark.sql.jdbc.JDBCRDD$.resolveTable(JDBCRDD.scala:132)
at org.apache.spark.sql.jdbc.JDBCRelation.<init>(JDBCRelation.scala:128)
at org.apache.spark.sql.jdbc.DefaultSource.createRelation(JDBCRelation.scala:113)
at org.apache.spark.sql.sources.ResolvedDataSource$.apply(ddl.scala:265)
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:114)
at cn.com.carsmart.bi.common.jdbc.JDBCUtil$.loadDataFromImpala(JDBCUtil.scala:18)
at cn.com.carsmart.bi.common.jdbc.JDBCUtil$.main(JDBCUtil.scala:34)
at cn.com.carsmart.bi.common.jdbc.JDBCUtil.main(JDBCUtil.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at com.intellij.rt.execution.application.AppMain.main(AppMain.java:134)

Answer 1

怎么没人回答啊。按照sparkt 最新的1.4版本的API修改后，加载MySQL数据可以，通过impala不行。