无法通过java客户端获取Hadoop作业信息

2024-01-26

我使用 Hadoop 1.2.1 并尝试通过 java 客户端打印作业详细信息,但它没有打印任何内容,这是我的 java 代码

    Configuration configuration = new Configuration();
    configuration.addResource(new Path("/usr/local/hadoop/conf/core-site.xml"));
    configuration.addResource(new Path("/usr/local/hadoop/conf/hdfs-site.xml"));
    configuration.addResource(new Path("/usr/local/hadoop/conf/mapred-site.xml")); 
    InetSocketAddress jobtracker = new InetSocketAddress("localhost", 54311);
    JobClient jobClient;
    jobClient = new JobClient(jobtracker, configuration);
    jobClient.setConf(configuration);
    JobStatus[] jobs = jobClient.getAllJobs();
    System.out.println(jobs.length);//it is printing 0.
    for (int i = 0; i < jobs.length; i++) {
        JobStatus js = jobs[i];
        JobID jobId = js.getJobID();
        System.out.println(jobId);
    }

But from job tracker history i can see three jobs. Here is the screen shot enter image description here Can any body tell me where am going wrong. I just want to print all the job details.

这是我的配置文件:

核心站点.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name
<value>/data/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:54310</value>
<description>The name of the default file system.  A URI whose</description>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:54310</value>
<description>The name of the default file system.  A URI whose
scheme and authority determine the FileSystem implementation.  The
uri's scheme determines the config property (fs.SCHEME.impl) naming
the FileSystem implementation class.  The uri's authority is used to
determine the host, port, etc. for a filesystem.</description>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>Default block replication.  The actual number of replications can be specified when the file is created. The default is used if replication is not specified in create time.
</description>
</property>
</configuration>

mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:54311</value>
<description>The host and port that the MapReduce job tracker runs at. If "local", then jobs are run in-process as a single map and reduce task.
</description>
</property>
</configuration>

尝试这样的事情

jobClient.displayTasks(jobID, "map", "completed");

作业 ID 是

JobID jobID = new JobID(jobIdentifier, jobNumber);

or

TaskReport[] taskReportList =   jobClient.getMapTaskReports(jobID);
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

无法通过java客户端获取Hadoop作业信息 的相关文章

  • 无法访问类型的封闭实例。 [复制]

    这个问题在这里已经有答案了 整个代码是 public class ThreadLocalTest ThreadLocal
  • 何时/为何使用/定义接口[重复]

    这个问题在这里已经有答案了 可能的重复 何时最好使用 java 中的接口 https stackoverflow com questions 2586389 when best to use an interface in java Hi
  • 使用 AbstractTableModel 获取 JTable 中选定的行

    我有一个JTable using AbstractTableModel我在哪里有一个JCheckBox在第一列中用于选择行 现在 我需要从已检查的表中获取选定的行 现在 我按顺序从第一行遍历到最后一行并获取所有选择的行 如下所示 List
  • 实现与扩展:何时使用?有什么不同?

    请用易于理解的语言进行解释或提供某些文章的链接 extends is for 延伸一类 implements is for 实施一个接口 接口和常规类之间的区别在于 在接口中您不能实现任何声明的方法 只有 实现 接口的类才能实现方法 C 中
  • 在Java中清空数组/处理

    除了循环遍历数组中的每个元素并将每个元素设置为 null 之外 Java 处理中是否有一个本机函数可以简单地清空数组 或销毁它 以便能够将其重新声明为新数组 There s Arrays fill myArray null 并不是说它执行的
  • 在 IntelliJ 上进行 Google App Engine Java 开发?

    令人烦恼的是 Google App Engine 已成为其中的另一个项目 他们只发布 Eclipse 插件 如 Spring Webflow 而我更喜欢 IntelliJ 你能用IntelliJ成功运行本地测试环境吗 并调试 部署本地或实时
  • 静态方法的 Java 内存模型

    我来自操作系统和 C 语言背景 在代码编译时 世界很简单 需要处理和理解堆栈 堆文本部分等 当我开始学习 Java 时 我确实了解 JVM 和垃圾收集器 我对静态方法感到很有趣 根据我的理解 类的所有实例都会在堆中创建 然后被清理 但是 对
  • RSA SignatureException:签名长度不正确

    我在签署 rsa 签名时遇到问题 我有一个用私钥加密的签名 然而 当我尝试使用公钥验证它时遇到问题 我得到以下异常 java security SignatureException Signature length not correct
  • 使用 HttpClient 的 .NET Core SPNEGO 身份验证

    我目前正在编写一个简单的基于 NET Core 的客户端 用于通过 WebHCat 与 Hadoop 集群进行交互 并且我正在尝试弄清楚如何使用 SPNEGO 进行身份验证 就像在curl 或 Powershell Core 等中一样 使用
  • 尝试在java中的Arraylist中查找对象的所有出现

    我有一个 Java ArrayList 我需要查找其中出现的所有特定对象 ArrayList indexOf Object 方法只找到一次出现 所以看来我还需要其他东西 我认为你不需要太花哨 以下应该可以正常工作 static
  • C# 中的协变和逆变

    首先我要说的是 我是一名正在学习 C 编程的 Java 开发人员 因此 我会将我所知道的与我正在学习的进行比较 我已经使用 C 泛型几个小时了 我已经能够在 C 中重现我在 Java 中知道的相同内容 除了几个使用协变和逆变的示例 我正在读
  • 如何制作无限的jscrollpane?

    我之前已经实现过拖动滚动 但是创建无限滚动窗格的最佳方法是什么 当然不会有任何滚动条 我将实现拖动滚动 我想做的是在无限表面上实现动态加载 EDIT 当然 它实际上不会是无限的 我想问如何伪造它 您可以执行以下操作 AdjustmentCl
  • Java元数据读写

    是否可以以通用方式 对于所有图像类型 在 Java 中读取和写入元数据 我找到了一些示例 但它们总是特定的 例如 JPEG 或 PNG 我需要一些足够通用的东西 而不是到处都有 if else 语句 我不想重写源代码 但这是一个很好的例子
  • 不要模拟值对象:过于通用的规则,没有解释

    以下是 Mockito 单元测试框架的引用 不要模拟值对象 为什么有人会想要这样做呢 因为实例化对象太痛苦了 gt 无效 原因 如果创造新的装置太困难 那就是一个迹象 代码可能需要一些认真的重构 另一种方法是创建 价值对象的构建者 有一些工
  • 在 eclipse 之外将 Spring MVC 应用程序部署到 tomcat 的幕后会发生什么?

    我猜想使用像 eclipse 这样很棒的 IDE 的一个缺点是你会忽略应用程序幕后发生的事情 我是一名 Ruby 开发人员 所以不是一名 Java 老手 所以我一直在用 java 编写一个项目 并使用 spring 框架进行 IOC 和 M
  • 如何使用 Guava 连接字符串?

    我写了一些代码来连接字符串 String inputFile for String inputLine list inputFile inputLine trim 但我不能使用 连接 所以我决定使用 Guava 所以我需要使用Joiner
  • 从命令行运行 Maven 插件的语法是什么。

    我看到这里已经有人问过这个问题 如何从命令行执行maven插件 https stackoverflow com questions 12930656 how to execute maven plugin from command line
  • 读/写带有特殊字符的.txt文件

    I open Notepad Windows 并写 Some lines with special characters Special 并前往另存为 someFile txt 与Encoding set to UTF 8 在Java中我有
  • JMockit - 初始化问题

    当我使用以下测试时 我收到警告 警告 JMockit 是按需初始化的 这可能会导致某些测试失败 请检查文档以获取更好的初始化方法 这是我的测试实现 package test import static mockit Mockit impor
  • Libgdx 和 Google 应用内购买结果

    我遵循了这些指示 https github com libgdx libgdx wiki Interfacing with platform specific code使用 ActionResolver 接口集成 Libgdx 和原生 An

随机推荐

  • VB 2010 - 具有标签名称值的变量

    我正在使用 VB 2010 Express 并且我的表单中有一个名为 lblTitle 的标签 下一个代码不起作用 我知道 但我该如何做这样的事情呢 Dim bla As String bla lblTitle bla Text Hello
  • 检查 Android 中的 VPN 连接是否处于活动状态?

    我的非 root Android 4 4 设备上有一个第三方 VPN 应用程序 并且想要编写一个后台服务来监视 VPN 连接并在 VPN 连接已断开时提醒用户 有没有办法做到这一点 我找不到任何使用 VPNService API 的方法 感
  • 在 Apache Camel 应用程序中,单元测试如何注入模拟端点来代替真实端点?

    我正在实施一个消息翻译模式 http camel apache org message translator html使用 Apache Camel 使用来自 RESTful 端点的消息并将它们发送到 AMQP 端点 封闭的应用程序基于 S
  • “showkeyboard”事件来自哪里?

    我正在使用 PhoneGap 我需要在 Android 手机上捕获 键盘正在显示 事件 我发现一些线程说要使用 showkeyboard 事件 例如这个 显示隐藏键盘在 Android PhoneGap 中无法正常工作 https stac
  • 摆脱签名 Java Applet 安全对话框

    这可能是一个荒谬的问题 我有一个签名的小程序 它只能在客户端的计算机文件系统上读写 我可以从像 Verysign 或 Thawte 等知名机构购买数字证书来签署小程序 如果我使用上述权限签署小程序 我可以摆脱 Java 插件持有的这种不明确
  • 使用 python3 中现有的超类实例初始化子类

    我正在用 python 编写我自己版本的套接字类 我想知道是否有办法not使用它初始化子类 init 方法 而是使用初始化它套接字类的现有实例 基本上 我想做的是从套接字类继承 并覆盖accept 方法返回我自己的类的对象而不是套接字类 为
  • 使用ansible下载大文件

    我想用 ansible 下载一个大文件 10 GB 根据连接情况 这需要半个小时 并且经常因 unarchive 或 get url 失败 如何在出现错误时恢复并取得某种进展 从而理想地实现这一目标 我认为没有任何方法可以在 Ansible
  • “useLegacyV2RuntimeActivationPolicy”在 .NET 4 配置中起什么作用?

    在将使用 SlimDX 因此具有非托管代码 的项目转换为 NET 4 0 时 我遇到了以下错误 混合模式程序集是针对运行时版本 v2 0 50727 构建的 如果没有附加配置信息 则无法在 4 0 运行时中加载 谷歌搜索给了我解决方案 即将
  • SQL 查询具有自定义文件扩展名的平面文件时出错

    我正在寻找一种查询平面文件的方法custom直接通过 SQL 扩展文件 通常使用类似的东西 SELECT FROM Text DATABASE C Flatfiles S7121070 ppis csv 它与 txt csv 和 tab 配
  • 使用 PEG.js 解析缩进级别

    我基本上有同样的问题Python 风格缩进的 PEG https stackoverflow com questions 4205442 peg for python style indentation 但我想得到更多关于这个答案 http
  • 如何检查变量是否在 Octave 中定义?

    当编写加载数据的脚本时 每次等待它加载都是浪费时间 如何检查变量是否已定义 您可以使用existOctave 中的函数来完成这项工作 它可用于检查给定名称作为变量 内置函数 文件或目录是否存在 在您的情况下 要检查变量是否存在 您可以使用如
  • C ++在for循环中初始化2个不同的迭代器[重复]

    这个问题在这里已经有答案了 可能的重复 我可以在 for 循环的初始化中声明不同类型的变量吗 https stackoverflow com questions 8644707 can i declare variables of diff
  • 如何覆盖 javascript 本机对象的内置方法

    假设我们有窗口对象的警报方法 我想用漂亮的警报框来增强它 另外 我想保存现有的警报方法 以便我们可以在应用程序结束后切换回来 类似这样的东西 但它在 Firefox 控制台中抛出错误 window prototype alert funct
  • pip 可以与 Visual Studio 中的 Python 工具一起使用吗?

    我正在与一些同学合作构建一个 python 应用程序 并希望使用 Visual Studio 智能感知的 训练轮 他们在 mac 和 linux 上使用 python 所以理想情况下我们的源代码控制存储库将仅包含 py我们编写的源文件 以及
  • 在 Tensorflow 中实现暹罗网络

    我想实现一个连体卷积神经网络 其中两个图像在卷积层中共享权重 然后在通过全连接层之前进行连接 我尝试过一种实现 但它似乎是一个 黑客 解决方案 特别是 我已将张量上的操作定义为简单的 Python 函数 并且我不确定这是否允许 这是我尝试过
  • 有没有可靠的方法从 postgres 间隔中提取年份?

    在 Postgres 中 如果我执行以下操作 select now created at from my table 我得到这样的结果 854 days 12 04 50 29658 然而 如果我这样做 select age now cre
  • 我什么时候需要下载.Net core运行时?

    From this https dotnet microsoft com download sdk链接 我们可以下载Core SDK和Runtime 据我了解 SDK 包含运行时 但在什么情况下我应该下载 Net Core Runtime
  • 如何使用 :: 让 vimomnicompletion 支持 php 类方法

    使用 vim php ctags 我可以获得相当好的 php 自动完成功能 但有一个部分确实让我困惑 让 vim 自动完成类方法 这是一个例子 完整的方法是 CVarDumper dumpAsString 如果我输入以下内容 我希望它完成
  • 这个周末用 php 吗?

    我想用 php 度过这个周末 我通过代码获取当前日期 start date date Y m d H i s time 如何根据当前日期获取当前周末 谢谢你 PHP 斯特托时间 http fr php net strtotime函数很神奇
  • 无法通过java客户端获取Hadoop作业信息

    我使用 Hadoop 1 2 1 并尝试通过 java 客户端打印作业详细信息 但它没有打印任何内容 这是我的 java 代码 Configuration configuration new Configuration configurat