程序员经验分享-hwhale

运行 Hadoop 作业时不是有效的 Jar

2024-02-09

我想运行 WordCount 示例。

在eclipse中运行正确。在输出文件夹中存在输出文件。

我制作了WordCount的jar文件并想通过命令运行它

hadoop jar WordCount.jar /Projects/input /Projects/output

它给了我错误

Not a valid JAR: /Projects/WordCount.jar

的结果hdfs dfs -ls /Projects

Found 3 items
-rw-r--r-- 1 hduser supergroup 3418 2014-11-02 15:38 /Projects/WordCount.jar
drwxr-xr-x - hduser supergroup 0 2014-11-02 14:13 /Projects/input
drwxr-xr-x - hduser supergroup 0 2014-11-02 14:16 /Projects/output

它也给了我同样的错误

  hadoop jar /Projects/WordCount.jar wordPackage.WordCount  /Projects/input /Projects/output

 Not a valid JAR: /Projects/WordCount.jar

如何解决这个错误。

我已经运行 tvf 命令它给出了这个输出

 jar -tvf /home/hduser/Desktop/Files/WordCount.jar

  60 Sun Nov 02 16:10:10 PKT 2014 META-INF/MANIFEST.MF
 1895 Sun Nov 02 14:02:38 PKT 2014 wordPackage/WordCount.class
 1295 Sun Nov 02 14:02:38 PKT 2014 wordPackage/WordCount.java
 2388 Sun Nov 02 14:02:06 PKT 2014 wordPackage/WordReducer.class
 707 Sun Nov 02 14:02:06 PKT 2014 wordPackage/WordReducer.java
 2203 Sun Nov 02 14:02:08 PKT 2014 wordPackage/WordMapper.class
 713 Sun Nov 02 14:02:06 PKT 2014 wordPackage/WordMapper.java
 16424 Sun Nov 02 13:50:00 PKT 2014 .classpath
 420 Sun Nov 02 13:50:00 PKT 2014 .project

使用 hadoop 命令执行相同操作时，无法将 jar 保留在 HDFS 中，Jar 应该在本地路径中可用

如果 jar 无法运行，请尝试以下操作（需要指定 package.mainclass）

hadoop jar /home/hduser/Desktop/Files/WordCount.jar wordPackage.WordCount /Projects/input /Projects/output

如果 jar 可以运行，则可以使用以下命令

hadoop jar /home/hduser/Desktop/Files/WordCount.jar /Projects/input /Projects/output

如果问题仍然存在，您需要在 eclipse 中再次重建这个 jar(WordCount.jar)

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

运行 Hadoop 作业时不是有效的 Jar 的相关文章

  • 将 CSV 转换为序列文件

    我有一个 CSV 文件 我想将其转换为 SequenceFile 我最终将使用它来创建 NamedVectors 以在聚类作业中使用 我一直在使用 seqdirectory 命令尝试创建 SequenceFile 然后使用 nv 选项将该输

  • 适用于 Hadoop 的 DynamoDB 输入格式

    我必须使用 Hadoop mapreduce 处理保留在 Amazon Dynamodb 中的一些数据 我在互联网上搜索 Dynamo DB 的 Hadoop InputFormat 但找不到它 我对 Dynamo DB 不熟悉 所以我猜测

  • 如何创建 HIVE 表来读取分号分隔值

    我想创建一个 HIVE 表 该表将以分号分隔的值读取 但我的代码不断给出错误 有没有人有什么建议 CREATE TABLE test details Time STRING Vital STRING sID STRING PARTITION

  • Sqoop - 绑定到 YARN 队列

    因此 使用 MapReduce v2 您可以使用绑定到某些 YARN 队列来管理资源和优先级 基本上通过使用 hadoop jar xyz jar D mapreduce job queuename QUEUE1 input output

  • HDFS 中的文件数量与块数量

    我正在运行单节点 hadoop 环境 当我跑的时候 hadoop fsck user root mydatadir block 我真的对它给出的输出感到困惑 Status HEALTHY Total size 998562090 B Tot

  • 如何跟踪hadoop中哪个数据块在哪个数据节点？

    如果复制一个数据块 会复制到哪个数据节点 是否有任何工具可以显示复制块存在的位置 如果您知道文件名 则可以通过 DFS 浏览器查找 转到您的 namenode Web 界面 说 浏览文件系统 并导航到您感兴趣的文件 在页面底部 将列出文件中

  • Hadoop NoSuchMethodError apache.commons.cli

    我在用着hadoop 2 7 2我用 IntelliJ 做了一个 MapReduce 工作 在我的工作中 我正在使用apache commons cli 1 3 1我把库放在罐子里 当我在 Hadoop 集群上使用 MapReduceJob

  • java.lang.ClassNotFoundException：找不到类 org.apache.hadoop.fs.azurebfs.SecureAzureBlobFileSystem

    我是 Spark 和 Kubernetes 世界的新手 我使用 docker image tool sh 实用程序使用与 Hadoop 3 2 捆绑在一起的官方 Spark 3 0 1 构建了 Spark docker 映像 我还为 Jup

  • java.io.IOException: EnsureRemaining: 仅剩余 0 个字节，尝试读取 1

    我在 giraph 中的自定义类方面遇到一些问题 我制作了 VertexInput 和 Output 格式 但总是收到以下错误 java io IOException ensureRemaining Only bytes remaining

  • 在 Hadoop MapReduce 中为二进制文件创建自定义 InputFormat 和 RecordReader

    我正在编写一个 M R 作业 该作业处理以二进制格式编写的大型时间序列数据文件 如下所示 此处换行以提高可读性 显然 实际数据是连续的 TIMESTAMP 1 TIMESTAMP 1 TIMESTAMP 2 TIMESTAMP 2 TIME

  • 在蜂巢中出现错误

    当我连接到 ireport 时 如果说在 hive shell 中显示表 则会出现此错误 元数据错误 java lang RuntimeException 无法实例化 org apache hadoop hive metastore Hiv

  • 为什么我们需要将外部表移动到托管 Hive 表？

    我是 Hadoop 新手 正在学习 Hive 在 Hadoop 权威指南第 3 版中 第 12 页 第428章 最后一段 我不明白下面关于 HIVE 中外部表的段落 一种常见的模式是使用外部表访问存储在 HDFS 中的初始数据集 由另一个进

  • 如何有效地将数据从 Kafka 移动到 Impala 表？

    以下是当前流程的步骤 Flafka http blog cloudera com blog 2014 11 flafka apache flume meets apache kafka for event processing 将日志写入

  • 无法在 Presto 中读取数据 - 在 Hive 中可以读取数据

    我有一个 Hive DB 我创建了一个与 Parquet 文件类型兼容的表 CREATE EXTERNAL TABLE default table date date udid string message token string PAR

  • 全部配对图表上的所有路径

    这可能是一个没有最佳解决方案的问题 假设我有一个有向图 不知道它是否有循环 循环检测将是这个问题的方面之一 给定一组顶点 可能是数百万个顶点 我需要计算给定图的所有唯一对之间的所有不同路径 没有重复顶点的路径 我该如何应对这种情况 让我们看

  • 如何对 RDD 进行分区

    我有一个文本文件 其中包含大量由空格分隔的随机浮动值 我正在将此文件加载到 scala 中的 RDD 中 这个RDD是如何分区的 另外 是否有任何方法可以生成自定义分区 以便所有分区都具有相同数量的元素以及每个分区的索引 val dRDD

  • 在 Apache Spark 上下文中，内存数据存储意味着什么？

    我读到 Apache Spark 将数据存储在内存中 然而 Apache Spark 旨在分析大量数据 又称大数据分析 在这种情况下 内存数据存储的真正含义是什么 它可以存储的数据是否受到可用 RAM 的限制 它的数据存储与使用HDFS的A

  • 将数据从 .txt 文件加载到 Hive 中以 ORC 形式存储的表

    我有一个数据文件位于 txt格式 我正在使用该文件将数据加载到 Hive 表中 当我将文件加载到类似表中时 CREATE TABLE test details txt visit id INT store id SMALLINT STORE

  • AWS EMR 引导操作为 sudo

    我需要更新 etc hosts适用于我的 EMR 集群 EMR AMI 4 3 中的所有实例 整个脚本无非就是 bin bash echo e ip1 uri1 gt gt etc hosts echo e ip2 uri2 gt gt e

  • 通过Oozie命令行指定多个过滤条件

    我正在尝试通过命令行搜索一些特定的 oozie 作业 我使用以下语法进行相同的操作 oozie jobs filter status RUNNING status KILLED 但是 该命令仅返回正在运行的作业 而不是已杀死的作业 需要帮助

随机推荐

  • 是否可以反转具有恒定额外空间的数组？

    假设我有一个数组A with n系列中的独特元素 0 n 换句话说 我有整数 0 n 的排列 是否可以转型A into B使用 O 1 额外空间 又名就地 这样B A i 我 例如 A B 3 1 0 2 4 gt 2 1 3 0 4 是的

  • PhoneGap 是慢还是有 bug？

    在我编译演示应用程序并将其部署到我的 Samsung Galaxy S II 后 我注意到 PhoneGap 附带的示例 PhoneGap 应用程序在按下按钮和滚动时响应不太灵敏 我还使用 PhoneGap 和 jQuery Mobile

  • 开源 ETL 框架 [关闭]

    就目前情况而言 这个问题不太适合我们的问答形式 我们希望答案得到事实 参考资料或专业知识的支持 但这个问题可能会引发辩论 争论 民意调查或扩展讨论 如果您觉得这个问题可以改进并可能重新开放 访问帮助中心 help reopen questi

  • 在第一个空格出现处分割字符串

    我没有得到一个优化的正则表达式 它将我的字符串拆分为第一个空白出现的位置 var str 72 tocirah sneab 我需要得到 72 tocirah sneab 如果您只关心空格字符 而不是制表符或其他空白字符 并且只关心第一个空格

  • 在Using语句中从DataLayer返回DataReader

    我们有很多数据层代码都遵循这个非常通用的模式 public DataTable GetSomeData string filter string sql SELECT FROM SomeTable WHERE SomeColumn Filt

  • 声明字符串 public static readonly 与 public const 与 public static const

    在每个项目中 我们都有一个文件用于存储该项目中使用的各种 SQL 语句 类的声明方式和字符串的声明方式有一些变化 类声明示例 internal sealed class ClassName internal static class Cla

  • 在RESTLET中读取Web-INF中的配置文件

    我正在尝试读取放置在 WEB INF 根路径内的配置文件 该应用程序使用RESTLET框架 我在官方RESTLET上读到doc http restlet com technical resources restlet framework j

  • 使用 JSON.NET 反序列化 Noda Time 的 LocalDateTime

    我正在尝试使用 Json NET 序列化一些 Noda Time 值 但遇到了麻烦 序列化很简单 LocalDateTime dt Assigned elsewhere LocalDateTimePattern isoDateTimePat

  • 如何使用 H2、JPA 和 Hibernate 映射 JSON 列

    我在应用程序 MySQL 5 7 中使用 并且有 JSON 列 当我尝试运行集成测试时 它不起作用 因为 H2 数据库无法创建表 这是错误 2016 09 21 16 35 29 729 ERROR 10981 main org hiber

  • RxJS / Angular Observables 使用 1 个还是多个管道？

    具有以下内容 只是一个简单的示例 observable pipe map s gt s anything pipe filter t gt t gt 5 pipe map t gt t 5 subscribe XXX 为什么我应该使用 1

  • 在 Hibernate 3.3.1ga 和 HSQLDB 中使用 @Table 和架构名称

    如何使用 Hibernate 3 3 1ga 和 HSQLDB 在单元测试中实现此功能 Entity Table name CATEGORY schema TEST public static class Category 问题是 Hibe

  • 图像二进制解释：未知图像格式

    假设我有某种格式的图像 其二进制表示形式 例如来自 OpenCV 的 cv Mat 或来自 Android 的 YuvImage 未压缩 并将其数据解释为 YUV NV21 嗯 这是 DJI 提供的示例 SDK 差不多了 这是我所得到的 由

  • 如何从抽象基类覆盖模型字段的默认值

    我有一些代码 如下所示 class BaseMessage models Model is public models BooleanField default False some more fields class Meta abstr

  • 从 Clojure 映射中过滤 nil 值？

    最好的过滤方法是什么nilClojure 映射中的值 a x b nil c z gt a x c z 我会用 into filter comp some val a x b nil c z gt a x c z 正在做的some http

  • C++中传递成员函数指针

    我正在尝试传递一个函数指针 类型为QScriptEngine FunctionSignature QScriptValue QScriptContext QScriptEngine 到另一个函数 但我需要传递的函数是类的成员函数 我这样使用

  • 网络x绘制_网络x_边缘capstyle

    有谁知道在通过 例如 绘制networkx边缘时是否可以对线条属性进行细粒度控制draw networkx edges 我想控制线路solid capstyle and solid joinstyle 它们是 matplotlib Line

  • 选择 Atom 中所有找到的 RegEx 结果

    我正在尝试选择正则表达式查找找到的所有结果 以便我可以全部修改它们 不要用文本替换它们 例如 将它们全部大写Cmd K gt Cmd U 我知道我could通过重复来一项一项地做Cmd G Cmd K Cmd U 但对于大文件来说 这根本不

  • Laravel 4 绕过路由的维护模式

    我已将我的应用程序放下以进行维护php artisan down命令 我的自定义维护页面作为电子邮件输入 用于接受来自用户的电子邮件并存储在我的数据库中 以便在站点备份并再次运行时通知用户 但是当我使用 POST 提交表单时 我被重定向到维

  • mViewPager.getCurrentItem() 不返回第一个和最后一个寻呼机的正确位置

    我正在尝试获取视图寻呼机的页码 我遇到了很多Stackoverflow Q A 他们都说要使用 currentposition mViewPager getCurrentItem 但此方法不适用于第一页和最后一页 如何解决这个问题 提前致谢

  • 运行 Hadoop 作业时不是有效的 Jar

    我想运行 WordCount 示例 在eclipse中运行正确 在输出文件夹中存在输出文件 我制作了WordCount的jar文件并想通过命令运行它 hadoop jar WordCount jar Projects input Proje

热门标签