我从一个xml文件中倒入了一个列,这个列的内容是[3.0,1],[3.0,2],[3.0,3]这种二维数组,其中后一个数1,2,3是其索引。我用下面赋值模拟出来了。
scala> val df1 = sc.parallelize(List(("[34.0,1],[34.0,2],[175.0,3]", 30), ("[3.0,1],[3.0,2],[3.0,3]", 36), ("[127.0,1],[127.0,2],[127.0,3]", 27))).toDF("infoComb", "age")
df1: org.apache.spark.sql.DataFrame = [infoComb: string, age: int]scala> df1.show(false)
+-----------------------------+---+
|infoComb |age|
+-----------------------------+---+
|[34.0,1],[34.0,2],[175.0,3] |30 |
|[3.0,1],[3.0,2],[3.0,3] |36 |
|[127.0,1],[127.0,2],[127.0,3]|27 |
+-----------------------------+---+我的问题是:我怎么样在scala中把[127.0,1]的127.0取出来? 麻烦各位大侠看看。
解决方案 »
- OpenStack中文社区落户啦!
- Openstack能不能选择物理资源开虚拟机?
- 【转】优秀软件人员一生必读的60本书 (只有59本)
- Cloud Foundry参赛博文——Cloudfoundry自动化部署工具Bosh的CPI研究分析
- 想问下。怎么在OpenStack下管理Docker?
- 关于新建云平台的3个问题,希望有大神答复
- 目前做的项目有个需求,视频存在HDFS集群里面 ,然后red5服务器需要从中读取视频
- 【有奖活动】请你来为私有云建设出谋划策?
- VMware如何监测性能问题
- Spark Scala: Schema for type Unit is not supported
- 有关使用spark进行数据处理的问题
- Spark如何Kill掉application
进行遍历的。
我记得好像是wrapped 序列相关
你可以尝试对于该df进行map操作
使用getAS[T] 函数将相应的列转换为你需要的模板序列类型,
之后再装换成你想要的类型(调用若干to函数)如果你有intellji idea这样的推断编辑器,可以将要使用的类型直接显示
出来,如在intelllji idea中使用 alt + enter
光标停在的那个对象就会显示出它的类型。