Spark SQL 执行缓慢且资源空闲

我有一个 Spark SQL，过去执行时间不到 10 分钟，现在在集群迁移后运行 3 小时，需要深入了解它实际执行的操作。我是 Spark 新手，如果我问一些不相关的问题，请不要介意。

增加spark.executor.memory但没有运气。

环境：Azure 存储上的 Azure HDInsight Spark 2.4

SQL：读取并连接一些数据，最后将结果写入 Hive 元存储。

The spark.sql脚本以以下代码结尾：.write.mode("overwrite").saveAsTable("default.mikemiketable")

Application Behavior: Within the first 15 mins, it loads and complete most tasks (199/200); left only 1 executor process alive and continually to shuffle read / write data. Because now it only leave 1 executor, we need to wait 3 hours until this application finish.

Left only 1 executor alive

Not sure what's the executor doing:

From time to time, we can tell the shuffle read increased:

Therefore I increased the spark.executor.memory to 20g, but nothing changed. From Ambari and YARN I can tell the cluster has many resources left.

Release of almost all executor

非常感谢任何指导。

我想首先对您的案例进行一些观察：

1. 从任务列表中您可以看到 Shuffle Spill (Disk) 和 Shuffle Spill (Memory) 都有非常高的值。数据交换期间每个分区的最大块大小不应超过 2GB https://www.slideshare.net/cloudera/top-5-mistakes-to-avoid-when-writing-apache-spark-applications因此，您应该注意保持混洗数据的大小尽可能小。根据经验，您需要记住每个分区的大小应为 ~200-500MB。例如，如果总数据为 100GB，则至少需要 250-500 个分区才能将分区大小保持在上述限制内。
2. 前两者并存也意味着执行器内存不足，Spark被迫将数据溢出到磁盘。
3. 任务的持续时间太长。 A正常任务 https://www.protechtraining.com/blog/post/tuning-apache-spark-jobs-the-easy-way-web-ui-stage-detail-view-911应持续 50-200 毫秒。
4. 太多被杀死的执行者是另一个迹象，表明你面临 OOM 问题。
5. Locality https://stackoverflow.com/questions/26994025/whats-the-meaning-of-locality-levelon-spark-cluster是 RACK_LOCAL，它被认为是集群内可以实现的最低值之一。简而言之，这意味着任务正在与存储数据的节点不同的节点中执行。

作为解决方案，我会尝试以下几件事：

• 通过使用增加分区数量repartition()或通过 Spark 设置spark.sql.shuffle.partitions达到满足上述要求的数量，即 1000 或更多。
• 改变存储数据的方式并引入分区数据，即日/月/年使用partitionBy