pyspark如何实现相邻两行相减?

Question

df.show(6)如下所示.
+--------------------+--------+
|                MSID|   etime|
+--------------------+--------+
|00E91B511D5E|         0|
|00E91B511D5E|       55|
|00E91B511D5E|     115|
|00E91B511D5E|     175|
|00E91B511D5E|     235|
|00E91B511D5E|     294|前后etime相减,想要得到如下结果:
+--------------------+--------+---------+
|                MSID|   etime|   order|
+--------------------+--------+---------+
|00E91B511D5E|         0|       55|
|00E91B511D5E|       55|       60|
|00E91B511D5E|     115|       60|
|00E91B511D5E|     175|       60|
|00E91B511D5E|     235|       60|
|00E91B511D5E|     294|        -1|

Answer 1

spark 有内置方法lag和lead,代表的意思请参考oracle,获取上一条记录或下一条记录;该方法返回列值,让每条记录生成一个新列,
该列即为lag或lead对应的列,即可以进行列操作;需要提前对数据进行排序.