程序员经验分享-hwhale

如何使用 Spark-submit 命令获取提交到 Spark 集群的作业的应用程序 ID/作业 ID？

2024-05-26

我正在使用 Spark-submit 命令提交 Apache Spark 作业。我想检索使用 Spark-submit 命令提交的作业的应用程序 ID 或作业 ID。推荐的方式应该是什么？


可以解析 Spark-submit 命令的输出以获取应用程序 ID。这是您应该查看的行 -

2018-09-08 12:01:22 INFO StandaloneSchedulerBackend:54 - 使用应用程序 ID 连接到 Spark 集群 app-20180908120122-0001

appId=`./bin/spark-submit <options> 2>&1 | tee /dev/tty | grep -i "Connected to Spark Cluster" | grep -o app-.*[0-9]`
echo $appId
app-20180908120122-0001

您的用例尚不清楚，但如果您在作业完成后查找应用程序 ID，那么这可能会有所帮助。对于纱线和其他簇，这条线可能有所不同。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

apachespark

如何使用 Spark-submit 命令获取提交到 Spark 集群的作业的应用程序 ID/作业 ID？ 的相关文章

随机推荐

  • 比较两个 UIImage

    我有一个应用程序 它将在 SQLDatabase 中保存一组图像 然后用户将拍摄一张照片 我希望能够将其与数据库中的图像进行匹配 我不知道从哪里开始 有人可以帮忙吗 给我指明正确的方向吗 Thanks 从结账开始OpenCV http op

  • 在 Windows 服务中调用 Web 服务

    我使用了一个简单的 Windows 服务来使一个方法在特定时间运行并且运行良好 接下来我已经尝试过 protected override void OnStart string args this WriteToFile Simple Se

  • 将视图中的 src 属性设置为 MVC3 项目外部的 url

    我正在尝试创建一个应用程序来显示本地存储在网络服务器上的图像 这是我的观点 请注意 条目 是绝对地址 例如 C Images Image1 jpg 但是 当我运行它时 我得到 Not allowed to load local resour

  • 如何重定向到WEB-INF文件夹中的JSP

    我有一个带有 NAV 的 jsp 其中还包含 UL 和以下元素 如下面的代码所示

  • 在没有加载项的情况下加载 Excel

    All 我编写了一个电子表格应用程序 用户通过双击我提供的图标来加载它 问题是用户有很多插件 这会降低 Excel 的速度 如何使用命令行开关加载 Excel 来禁用所有加载项 该问题适用于 Excel 2003 和 Excel 2007

  • 如何在 SceneKit 中将变换矩阵应用于向量

    我在这里错过了什么吗 各种向量 矩阵函数here https developer apple com library prerelease ios documentation SceneKit Reference SceneKit Func

  • JavaScript 相当于 jQuery 的 keyup() 和 keydown()

    我在 stackoverflow 上看到过这个链接 document ready 相当于没有 jQuery https stackoverflow com questions 799981 document ready equivalent

  • JFrame 图标在 Ubuntu 12.04 中不显示

    我使用一些图像图标开发了一个 Swing 应用程序 应用程序 jar 文件在 Windows 中按预期工作 但相同的 jar 文件在 Ubuntu 12 04 操作系统上不显示框架的图像图标 我的示例代码 ImageIcon ImageIc

  • iOS 4.2 - 打电话后返回应用程序

    我可以使用以下命令在我的应用程序中成功发起电话呼叫 UIApplication sharedApplication openURL NSURL URLWithString tel 123456789 但是 通话结束后是否可以自动返回应用程序

  • 谷歌地图标记被削减了一半 互联网浏览器

    我在 Internet Explorer 中的谷歌地图标记图标遇到了一个奇怪的问题 我的所有标记都显示为一半 两倍且偏移超过 50 这是使用谷歌的演示代码 所以我在其他地方用样式或 jquery 做的事情一定很奇怪 但我不知道是什么 以前有

  • adb shell：无法使用 ESCAPE 键

    I want to use vi when running adb shell Starting vi is easy However I found that the ESC key doesn t seem to get through

  • 在 Kendo UI 网格列标题上添加悬停文本

    我正在尝试将自定义悬停文本 如工具提示 添加到 KendoUI 网格中的列标题 文本应该特定于每一列 并且最好不显示在标题行之外的任何内容上 Grid 对象没有工具提示选项 但我不确定是否有办法使用 CSS 或它们的行模板 http dem

  • 如何实现嵌套注释？

    我想在我的网站上显示评论 如下所示 li Parent ul li child one li li child two ul li grandchild li li other grandchild li ul li ul li li An

  • QMessageBox::about 可以根据标题长度调整大小吗？

    我想创建一个简单的 关于 对话框 但注意到QMessageBox about不会根据标题的长度调整其大小 由于字体较大 标题通常会更长 至少在我的桌面环境中 仅根据内容调整其大小 有没有办法确保对话框足够大以显示所有标题 我当然可以向 ab

  • 装载组件

    有很多讨论展示了如何从 BIN 和 GAC 加载程序集 我的问题更笼统 我很想知道程序集加载是如何工作的 举例来说 在BIN文件夹中我们可以有 A dll A dll config A dll config 文件可能如下所示

  • 错误列表索引必须是整数，而不是列表。获取一个数组的值，使用它们作为索引来删除另一个数组中的值

    seen dups collections defaultdict list for i item in enumerate prules for j orig in enumerate seen if item orig dups j a

  • 飞镖相当于长？ [复制]

    这个问题在这里已经有答案了 java的相当于什么longDart 中的数据类型 应该int or long使用 In Java https docs oracle com javase tutorial java nutsandbolts

  • 如何在 Django 管理员索引中分离不同模块中的模型？

    我想在管理索引中分离我的应用程序的模型 我将所有模型注册在admin py我将所有这些都放在大红色 1 下的默认管理索引中 如下所示 现在我想将我的一些模型放在另一个 块 中 如下图大红色 2 下方所示 为了让它变得更难 我还需要在两个 块

  • VirtualStringTree 正确/推荐使用

    我已经使用 virtualstringtree 一段时间了 我将它用于两个不同的用途 第一个是用于选择 显示数据的普通树 第二个是作为网格来显示 SQL 语句的输出 我加载到树中的所有数据都来自数据库 对于树示例 我有一个 ParentId

  • 如何使用 Spark-submit 命令获取提交到 Spark 集群的作业的应用程序 ID/作业 ID？

    我正在使用 Spark submit 命令提交 Apache Spark 作业 我想检索使用 Spark submit 命令提交的作业的应用程序 ID 或作业 ID 推荐的方式应该是什么 可以解析 Spark submit 命令的输出以获取

热门标签