程序员经验分享-hwhale

Oozie SSH 操作

2024-05-07

Oozie SSH 操作问题：

Issue:我们正在尝试在集群的特定主机上运行一些命令。我们为此选择了 SSH Action。我们面对这个 SSH 问题已经有一段时间了。这里真正的问题可能是什么？请指出解决方案。

logs:

AUTH_FAILED：无法执行操作 [ssh -o PasswordAuthentication=no -o KbdInteractiveDevices=no -o StrictHostKeyChecking=no -o ConnectTimeout=20[电子邮件受保护] /cdn-cgi/l/email-protectionmkdir -p oozie-oozi/0000000-131008185935754-oozie-oozi-W/action1--ssh/ ] | ErrorStream：警告：已将主机 1.2.3.4 (RSA) 永久添加到已知主机列表中。权限被拒绝（publickey、gssapi-keyex、gssapi-with-mic、密码）。

org.apache.oozie.action.ActionExecutorException：AUTH_FAILED：无法执行操作 [ssh -o PasswordAuthentication=no -o KbdInteractiveDevices=no -o StrictHostKeyChecking=no -o ConnectTimeout=20[电子邮件受保护] /cdn-cgi/l/email-protectionmkdir -p oozie-oozi/0000000-131008185935754-oozie-oozi-W/action1--ssh/ ] | ErrorStream：警告：已将 1.2.3.4,192.168.34.208 (RSA) 永久添加到已知主机列表中。 权限被拒绝（publickey、gssapi-keyex、gssapi-with-mic、密码）。

at org.apache.oozie.action.ssh.SshActionExecutor.execute(SshActionExecutor.java:589)
at org.apache.oozie.action.ssh.SshActionExecutor.start(SshActionExecutor.java:204)
at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:211)
at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:59)
at org.apache.oozie.command.XCommand.call(XCommand.java:277)
at org.apache.oozie.service.CallableQueueService$CompositeCallable.call(CallableQueueService.java:326)
at org.apache.oozie.service.CallableQueueService$CompositeCallable.call(CallableQueueService.java:255)
at org.apache.oozie.service.CallableQueueService$CallableWrapper.run(CallableQueueService.java:175)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
at java.lang.Thread.run(Thread.java:662)

引起原因：java.io.IOException：无法执行操作 [ssh -o PasswordAuthentication=no -o KbdInteractiveDevices=no -o StrictHostKeyChecking=no -o ConnectTimeout=20[电子邮件受保护] /cdn-cgi/l/email-protectionmkdir -p oozie-oozi/0000000-131008185935754-oozie-oozi-W/action1--ssh/ ] | ErrorStream：警告：已将“1.2.3.4,1.2.3.4”(RSA) 永久添加到已知主机列表中。 权限被拒绝（publickey、gssapi-keyex、gssapi-with-mic、密码）。

at org.apache.oozie.action.ssh.SshActionExecutor.executeCommand(SshActionExecutor.java:340)
at org.apache.oozie.action.ssh.SshActionExecutor.setupRemote(SshActionExecutor.java:373)
at org.apache.oozie.action.ssh.SshActionExecutor$1.call(SshActionExecutor.java:206)
at org.apache.oozie.action.ssh.SshActionExecutor$1.call(SshActionExecutor.java:204)
at org.apache.oozie.action.ssh.SshActionExecutor.execute(SshActionExecutor.java:547)
... 10 more

2013-10-09 12:48:25,982 警告 org.apache.oozie.command.wf.ActionStartXCommand: USER[用户] GROUP[-] TOKEN[] APP[测试] JOB[0000000-131008185935754-oozie-oozi-W] ACTION[0000000-131008185935754-oozie-oozi-W@action1] 暂停工作流作业 id=0000000-131008185935754-oozie-oozi-W 2013-10-09 12:48:27,204 警告 org.apache.oozie.command.coord.CoordActionUpdateXCommand：USER[用户] GROUP[-] TOKEN[] APP[测试] JOB[0000000-131008185935754-oozie-oozi-W] ACTION[0000000-131008185935754-oozie-oozi-W@action1] E1100：执行前命令前提条件不成立，[，坐标操作为空]，错误代码：E1100 2013-10-09 12:59:57,477 信息 org.apache.oozie.command.wf.KillXCommand: USER[用户] GROUP[-] TOKEN[] APP[测试] JOB[0000000-131008185935754-oozie-oozi-W] ACTION[-] 已启动 WorkflowKillXCommand for jobId=0000000-131008185935754-oozie-oozi-W 2013-10-09 12:59:57,685 警告 org.apache.oozie.command.coord.CoordActionUpdateXCommand：USER[用户] GROUP[-] TOKEN[] APP[测试] JOB[0000000-131008185935754-oozie-oozi-W] ACTION[-] E1100：执行前命令前提条件不成立，[，协调操作为空]，错误代码：E1100 2013-10-09 12:59:57,686 信息 org.apache.oozie.command.wf.KillXCommand: USER[用户] GROUP[-] TOKEN[] APP[测试] JOB[0000000-131008185935754-oozie-oozi-W] ACTION[-] ENDED WorkflowKillXCommand for jobId=0000000-131008185935754-oozie-oozi-W 2013-10-09 13:41:32,654 警告 org.apache.oozie.command.wf.KillXCommand: USER[用户] GROUP[-] TOKEN[] APP[测试] JOB[0000000-131008185935754-oozie-oozi-W] ACTION[-] E0725：无法杀死工作流实例，0000000-131008185935754-oozie-oozi-W，错误代码：E0725 2013-10-09 13:41:45,199 警告 org.apache.oozie.command.wf.KillXCommand: USER[用户] GROUP[-] TOKEN[] APP[测试] JOB[0000000-131008185935754-oozie-oozi-W] ACTION[-] E0725：无法杀死工作流实例，0000000-131008185935754-oozie-oozi-W，错误代码：E0725 2013-10-09 13:42:04,869 警告 org.apache.oozie.command.wf.ResumeXCommand: USER[用户] GROUP[-] TOKEN[] APP[测试] JOB[0000000-131008185935754-oozie-oozi-W] ACTION[-] E1100：命令前提条件在执行前不成立，[工作流程的状态为 KILLED 且未暂停]，错误代码：E1100 2013-10-09 13:45:56,357 警告 org.apache.oozie.command.wf.KillXCommand: USER[用户] GROUP[-] TOKEN[] APP[测试] JOB[0000000-131008185935754-oozie-oozi-W] ACTION[-] E0725：无法杀死工作流实例，0000000-131008185935754-oozie-oozi-W，错误代码：E0725

尝试过的方法：

  1. 无密码 SSH 设置
  2. 用户代理设置
  3. 授予所需文件夹的权限

Thanks;

Kasa.


我刚刚遇到了类似的问题。我有一个可以作为用户运行的情况：

ssh -o PasswordAuthentication=no -o KbdInteractiveDevices=no -o StrictHostKeyChecking=no -o ConnectTimeout=20 [email protected] /cdn-cgi/l/email-protection mkdir -p oozie-oozi/0000000-131008185935754-oozie-oozi-W/action1--ssh/

在命令行上手动运行并且它可以工作，但是当通过 Oozie 作为 USER 启动时它失败了。

就我而言，失败的原因是我在 oozie 服务器上的 USER 和远程计算机上的 USER 之间设置了无密码 ssh。需要做的是在 oozie 服务器上的 oozie 和远程计算机上的 USER 之间设置无密码 ssh。换句话说，在 oozie 服务器上 su 到 oozie 并手动运行上述命令。如果失败了，在 Oozie 中也会失败。如果它有效，那么它应该可以在 Oozie 中工作（假设其他所有内容都正确，例如 dir 权限等）

查看您的 oozie 服务器以什么用户身份运行：

ps -ef | grep oozie

无论哪个用户都需要无密码 ssh 到远程计算机上的用户。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

oozie

Oozie SSH 操作 的相关文章

  • hive 添加分区语句忽略前导零

    我在 hdfs 上有文件夹 user test year 2016 month 04 dt 25 000000 0 需要将上面的分区路径添加到test table 命令 ALTER TABLE test ADD IF NOT EXISTS

  • 使用字符串数组在 Hive 表上加载 CSV 文件

    我正在尝试将 CSV 文件插入 Hive 其中一个字段是 string 数组 这是 CSV 文件 48 Snacks that Power Up Weight Loss Aidan B Prince Health Fitness Trave

  • Sqoop 导出分区的 Hive 表

    我在尝试导出分区的 Hive 表时遇到了一些问题 这是否完全受支持 我尝试用谷歌搜索并找到一张 JIRA 票证 sqoop export connect jdbc mysql localhost testdb table sales exp

  • 是否可以使用 Java 读写 Parquet，而不依赖 Hadoop 和 HDFS？

    我一直在寻找这个问题的解决方案 在我看来 如果不引入对 HDFS 和 Hadoop 的依赖 就无法在 Java 程序中嵌入读写 Parquet 格式 它是否正确 我想在 Hadoop 集群之外的客户端计算机上进行读写 我开始对 Apache

  • 当我将文件存储在 HDFS 中时，它们会被复制吗？

    我是 Hadoop 新手 当我使用以下方式存储 Excel 文件时hadoop fs putcommoad 它存储在HDFS中 复制因子为3 我的问题是 是否需要3份并分别存储到3个节点中 这是 HDFS 工作的漫画 https docs

  • 公平调度器和容量调度器有什么区别？

    我是 Hadoop 世界的新手 想了解公平调度程序和容量调度程序之间的区别 另外我们什么时候应该使用每一个 请简单地回答一下 因为我在网上读了很多东西 但从中得到的不多 公平调度是一种为作业分配资源的方法 使得所有作业随着时间的推移平均获得

  • 使用 org.apache.hadoop/* 依赖项离线编译 sbt 时遇到的问题

    使用依赖于 org apache hadoop 包的 sbt 进行离线编译时遇到很多麻烦 一个简单的build sbt name Test version 1 0 scalaVersion 2 10 4 libraryDependencie

  • 覆盖hadoop中的log4j.properties

    如何覆盖hadoop中的默认log4j properties 如果我设置 hadoop root logger WARN console 它不会在控制台上打印日志 而我想要的是它不应该在日志文件中打印 INFO 我在 jar 中添加了一个

  • 与文件名中的冒号“：”作斗争

    我有以下代码 用于加载大量 csv gz 并将它们转储到其他文件夹中 并将源文件名作为一列 object DailyMerger extends App def allFiles path File List File val parts

  • ETL informatica 大数据版（非云版）可以连接到 Cloudera Impala 吗？

    我们正在尝试在 Informatica 大数据版本 不是云版本 上进行概念验证 我发现我们可能能够使用 HDFS Hive 作为源和目标 但我的问题是 Informatica 是否连接到 Cloudera Impala 如果是这样 我们是否

  • 更改spark_temporary目录路径

    是否可以更改 temporarySpark在写入之前保存临时文件的目录 特别是 由于我正在编写表的单个分区 因此我希望临时文件夹位于分区文件夹内 是否可以 由于其实现原因 无法使用默认的 FileOutputCommiter FileOut

  • sqoop 通过 oozie 导出失败

    我正在尝试将数据导出到mysql from hdfs通过sqoop 我可以通过 shell 运行 sqoop 并且它工作正常 但是当我通过调用oozie 它出现以下错误并失败 我还包括了罐子 没有描述性日志 sqoop脚本 export c

  • Protobuf RPC 在 Hadoop 2.2.0 单节点服务器上不可用？

    我正在尝试在按照本教程安装的本地单节点集群上运行 hadoop 2 2 0 mapreduce 作业 http codesfusion blogspot co at 2013 10 setup hadoop 2x 220 on ubuntu

  • 通过Oozie命令行指定多个过滤条件

    我正在尝试通过命令行搜索一些特定的 oozie 作业 我使用以下语法进行相同的操作 oozie jobs filter status RUNNING status KILLED 但是 该命令仅返回正在运行的作业 而不是已杀死的作业 需要帮助

  • Hadoop fs 查找块大小？

    在 Hadoop fs 中如何查找特定文件的块大小 我主要对命令行感兴趣 例如 hadoop fs hdfs fs1 data 但看起来这并不存在 有Java解决方案吗 The fsck其他答案中的命令列出了块并允许您查看块的数量 但是 要

  • 从机上的 DiskErrorException - Hadoop 多节点

    我正在尝试处理来自 hadoop 的 XML 文件 在对 XML 文件调用字数统计作业时出现以下错误 13 07 25 12 39 57 INFO mapred JobClient Task Id attempt 201307251234

  • 如何使用 log4j 自定义附加程序在 HDFS 上创建日志？

    Overview 我们希望使用 log4j 记录 Spark 作业活动 并将日志文件写入 HDFS Java 8 Spark 2 4 6 Scala 2 1 2 Hadoop 3 2 1 我们无法找到本地 apache log4j 附加程序

  • 使用 Hive 计算文本变量的单词频率

    我有一个变量 每一行都是一个句子 例子 Row1 Hey how are you Rwo2 Hey Who is there 我希望输出是按单词分组的计数 Example Hey 2 How 1 are 1 我正在使用 split a bi

  • S3并行读写性能？

    考虑 Spark 或任何其他 Hadoop 框架 从 S3 读取大型 例如 1 TB 文件的场景 多个spark执行器如何从S3并行读取非常大的文件 在 HDFS 中 这个非常大的文件将分布在多个节点上 每个节点都有一个数据块 在对象存储中

  • Hive 有相当于 DUAL 的东西吗？

    我想运行这样的语句 SELECT date add 2008 12 31 1 FROM DUAL Hive 在 Amazon EMR 上运行 是否有类似的功能 最好的解决方案是不要提及表名 select 1 1 给出结果 2 但是可怜的 H

随机推荐

热门标签