谁能解释一下我的 Spark DAG 中的 Spark 阶段中交换的含义。我的大部分阶段要么以交换开始,要么以交换结束。
1). WholeStageCodeGen -> 交换
2)。交换 -> WholeStageCodeGen -> SortAggregate -> 交换
全阶段代码生成是一种受现代编译器启发的技术,可将整个查询折叠为单个函数
在全阶段代码生成之前,每个物理计划都是一个类,其中包含定义执行的代码。通过全阶段代码生成,计划树中的所有物理计划节点协同工作,在单个函数中生成 Java 代码以供执行。然后使用快速 Java 编译器 Janino 将 Java 代码转换为 JVM 字节码。然后 JVM JIT 开始进一步优化字节码,并最终将它们编译成机器指令。
例如
== Physical Plan ==
*Project [id#27, token#28, token#6]
+- *SortMergeJoin [id#27], [id#5], Inner
:- *Sort [id#27 ASC NULLS FIRST], false, 0
: +- Exchange hashpartitioning(id#27, 200)
无论您在哪里看到*,都意味着wholestagecodegen在聚合之前已经生成了手写代码。
Exchange是指作业之间的Shuffle Exchange。Exchange没有全阶段代码生成,因为它是通过网络发送数据。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)