我输入的是一个csv文件,每行内容如下
HX332780,14/7/5,OTHER OFFENSE,PROBATION VIOLATION,PARKING LOT/GARAGE(NON.RESID.),Y,N,1113
HX332854,14/7/5,OTHER OFFENSE,HARASSMENT BY TELEPHONE,APARTMENT,N,N,1533
HX332743,14/7/5,CRIMINAL DAMAGE,TO VEHICLE,STREET,N,N,1021
HX332735,14/7/5,THEFT,$500 AND UNDER,RESTAURANT,N,N,1014
......
.....
以下是简单处理的代码
object SparkPi {
  def main(args: Array[String]) {
val conf = new SparkConf().setAppName("Spark Pi").setMaster("spark://Master:7077").setJars(List("/home/hadoop/Downloads/JetBrains.IntelliJ.xdowns/idea-IU-139.1117.1/spark-examples-1.5.2-hadoop2.6.0.jar"))
    val sc = new SparkContext(conf)
    val rawData = sc.textFile("/home/hadoop/123.csv")
    val secondData = rawData.map(_.split(",").takeRight(4).head)
    val thirdData = secondData.map(n=>(n,1)).reduceByKey(_+_).collect()
    sc.stop()
  }
}
在集群执行后出现以下错误
15/12/09 22:11:09 WARN TaskSetManager: Lost task 1.0 in stage 0.0 (TID 1, 219.216.65.129): java.lang.ClassCastException: cannot assign instance of org.apache.spark.examples.SparkPi$$anonfun$2 to field org.apache.spark.rdd.RDD$$anonfun$flatMap$1$$anonfun$apply$4.cleanF$2 of type scala.Function1 in instance of org.apache.spark.rdd.RDD$$anonfun$flatMap$1$$anonfun$apply$4
.....
....请问大神们是哪里出错了啊?去掉collect就没报错了,我只想统计数据每行中倒数第四列的不同单词出现的频率....