我想把一个spark dataframe内的数据与另一个dataframe比较大小，然后筛选出结果，请问我应该使用什么函数？求大神解答，感觉很简单

Question

我想把一个spark dataframe内的数据与另一个dataframe比较大小，然后筛选出结果，请问我应该使用什么函数？求大神解答，感觉很简单

Answer 1

是df1第n条和df2中第n条比较吗?，df1和df2数据量相同吗

Answer 2

如果我理解的没错的话，这样可以做，但需要保证两个df内的分片数和每个分片内的数据个数一样。
f1.rdd.zip(df2.rdd).map{case Tuple2(row1, row2) =>
        val data1 = row1.getInt(0)
        val data2 = row1.getInt(0)
        data1 > data2
    }
      .filter(_)