spark rdd不能嵌套问题，求大佬解答一下

Question

1.spark里面因为闭包问题，rdd在 trasaction 操作过程中不能引用别的rdd，网上看了很多文章感觉都解释的不大好，理解的不好。
2.rdd在 trasaction 过程中，不能调用sparkContext 对象，是因为sparkContext 只能在driver端执行？而trasaction 操作已经是个闭包在executor端了？

Answer 1

你的理解是对的。嵌套的需求要用join来做。如果真非嵌套不可，只能将小的RDD collect并广播。在transform算子内访问广播变量的方式嵌套

Answer 2

rdd在 trasaction 操作过程中不能引用别的rdd ，有什么好的解释吗？