Apache Spark 中失败的任务是否会重新提交?

2024-02-18

Apache Spark 中失败的任务是否会自动重新提交给同一个或另一个执行器?


是的,但是有一个最大失败次数的参数设置

spark.task.maxFailures  4   Number of individual task failures before giving up on the job. Should be greater than or equal to 1. Number of allowed retries = this value - 1.
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Apache Spark 中失败的任务是否会重新提交? 的相关文章

随机推荐