如何将 Jar 文件传递​​到 OOZIE shell 节点中的 shell 脚本

您好，我在 oozie shell 操作工作流程中执行的脚本中运行 java 程序时遇到以下错误。

Stdoutput 2015-08-25 03:36:02,636  INFO [pool-1-thread-1] (ProcessExecute.java:68) - Exception in thread "main" java.io.IOException: Error opening job jar: /tmp/jars/first.jar
Stdoutput 2015-08-25 03:36:02,636  INFO [pool-1-thread-1] (ProcessExecute.java:68) -    at org.apache.hadoop.util.RunJar.main(RunJar.java:124)
Stdoutput 2015-08-25 03:36:02,636  INFO [pool-1-thread-1] (ProcessExecute.java:68) - Caused by: java.io.FileNotFoundException: /tmp/jars/first.jar (No such file or directory)
Stdoutput 2015-08-25 03:36:02,636  INFO [pool-1-thread-1] (ProcessExecute.java:68) -    at java.util.zip.ZipFile.open(Native Method)
Stdoutput 2015-08-25 03:36:02,637  INFO [pool-1-thread-1] (ProcessExecute.java:68) -    at java.util.zip.ZipFile.<init>(ZipFile.java:215)
Stdoutput 2015-08-25 03:36:02,637  INFO [pool-1-thread-1] (ProcessExecute.java:68) -    at java.util.zip.ZipFile.<init>(ZipFile.java:145)
Stdoutput 2015-08-25 03:36:02,637  INFO [pool-1-thread-1] (ProcessExecute.java:68) -    at java.util.jar.JarFile.<init>(JarFile.java:154)
Stdoutput 2015-08-25 03:36:02,637  INFO [pool-1-thread-1] (ProcessExecute.java:68) -    at java.util.jar.JarFile.<init>(JarFile.java:91)
Stdoutput 2015-08-25 03:36:02,640  INFO [pool-1-thread-1] (ProcessExecute.java:68) -    at org.apache.hadoop.util.RunJar.main(RunJar.java:122)
Exit code of the Shell command 1

以下是文件详细信息：

工作.属性：

nameNode=maprfs:///
jobTracker=maprfs:///
queueName=nitin
EXEC=execution.jar
ozie.libpath=${nameNode}/user/oozie/share/lib
oozie.use.system.libpath=true

oozie.wf.application.path=maprfs:/dev/user/oozieTest

工作流程.xml

<?xml version="1.0" encoding="UTF-8" standalone="yes" ?>
<workflow-app name="test" xmlns="uri:oozie:workflow:0.4">
    <start to="first" />
    <action name="first">
        <shell xmlns="uri:oozie:shell-action:0.1">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
                </configuration>
            <exec>script</exec>
        <argument>-type mine</argument>
        <argument>-cfg config.cfg</argument>
            <file>script</file>
            <file>${EXEC}#${EXEC}</file>
            <file>config.cfg</file>
            <file>first.jar#first.jar</file>
            <file>second.jar#second.jar</file>
        </shell>
        <ok to="end" />
        <error to="fail" />
    </action>
    <kill name="fail">
        <message>Workflow failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="end" />
</workflow-app>

script:

#!/bin/bash
#get the user who executed the script
EXECUTING_USER="user1"

# get start time

NOW=$(date +"%T")

#get the host name

HOST="$HOSTNAME"

ARGUMENTSTRING="$@ -user user1 -startTime $NOW"
echo "Passing the following arguments : $ARGUMENTSTRING"

java -cp execution.jar com.hadoop.test.Main "$ARGUMENTSTRING"

exit $?

我从 /tmp/jars 目录中的execution.jar 文件中获取first.jar，原因是该目录不会对oozie 工作流用户造成任何权限问题。

任何方向/建议都会非常有帮助。

我的问题简而言之：

• 我想在 oozie shell 操作节点中执行脚本。
• 从oozie shell操作节点执行的脚本将运行java程序
• 基于参数的 java 程序将运行 first.jar 或 secondary.jar

我建议您以某种方式将依赖关系从 shell 脚本转移到 java 代码中，并使用 oozie java 操作节点运行它，这将很好地简化该过程。

如果从 oozie shell 操作节点运行 Java jar 是您的最后一个选择，那么我们很好地这样做，但据我所知，它有点复杂。

主要担心的是，

• 任何 Oozie 操作都无法引用本地文件系统上的内容 节点，只能引用HDFS上的内容
• Java 二进制命令只能引用本地文件系统上的文件。

因此，请按照以下步骤操作，这可能会帮助您协调您的期望。

1. 将您的 Jar 文件放在 HDFS 上
2. 将 Jar 的 HDFS 绝对路径作为参数传递给 shell 脚本。
3. 从 shell 脚本中，将 Jar 从 HDFS 复制到运行操作的节点上的本地， 在固定位置（根据您的喜好可以是 /tmp）使用复制到本地 cmd.
4. 在该节点上使用 Java 命令调用 Jar 文件
5. 完成后，如果要传送 Jar 文件产生的任何输出 进行下一步操作，然后将输出文件从本地复制到 HDFS shell脚本使用从本地复制.