在Eclipse scala版本中写了一个spark的程序,IDE中语句语法没有什么问题,但是却有编译错误
下面是错误描述的图片,好像是说在包org.apache.avro.reflect.Stringable中有问题请问这是什么原因?

解决方案 »

  1.   

    后面我通过注释掉代码,然后逐行加入的方法测试了一下,发现问题主要在下面的语句
    如果是
    val lines = sc.hadoopFile[LongWritable, Text]("/data/algo/cookie_mapping/201409/20140930.lzo",
            classOf[DeprecatedLzoTextInputFormat], classOf[LongWritable], classOf[Text]);

    就会报上面的错
    如果是val =lines = sc.hadoopFile("/data/algo/cookie_mapping/201409/20140930.lzo"),就编译通过