在 Spark 2.3 集群上运行作业时，我在 Spark WebUI 中注意到某些任务发生了溢出：
据我所知，在reduce端，reducer获取所需的分区（随机读取），然后使用执行器的执行内存执行reduce计算。由于没有足够的执行内存，一些数据被溢出。
我的问题：
- 我对么 ？
- 数据泄露到哪里了？ Spark webUI 表明一些数据溢出到内存中随机播放溢出（内存），但没有任何内容溢出到磁盘随机播放溢出（磁盘）
在此先感谢您的帮助
None
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
