程序员经验分享-hwhale

Hadoop的Nodes of the cluster界面MemoryTotal为0B

2023-11-02

1、hadoop集群安装部署结束，一键启动：

start-all.sh

2、查看各主从机器上jps进程

jps
master: ResourceManager + NameNode

slave1(第二namenode): DataNode + SecondaryNameNode + NodeManager
slave2: NodeManager + DataNode

注意：这里的进程虽然都正确，但是并不代表所修改的配置文件都生效了。只能说明修改后的配置文件语法没错，可以启动！

3、运行测试

（1）、hdfs管理界面：   http://master:50070/

（2）、yarn的管理界面：http://master:8088/cluster/nodes

 

（3）、查看hdfs的状态报告 ：hdfs dfsadmin -report

（4）、查看yarn的基本信息：yarn  node -list    

 注意：在（4）命令正常运行时的结果应为：

在（2）的网页端里MemoryTotal不为0B，且下方node Labels所在的表格不为空，才算正确，否则说明yarn-site.xml文件有未生效配置！会导致新建任务的时候，一直处于Apps Pending状态！

根据启动信息，到未成功启动的node下查找日志：大致为

 到相应的主机下打开对应的log文件，名字相同，后缀修改一下就好了。如果出现类似

org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8031 

等错误，可以断定时yarn-site.xml未生效。

4、yarn-site未生效可能原因：语法正确，但是存在嵌套错误。

如：复制粘贴的时候粘贴到了别的标签内部！此时运行start-all正常，但是app 会卡在pending。


<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop200:8030</value>

<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop200:8033</value>
</property>

</property>

 

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

虚拟机

server

Linux

Hadoop

大数据

Hadoop的Nodes of the cluster界面MemoryTotal为0B 的相关文章

  • 如何在 Vim 中突出显示 Bash 脚本？

    我的 Vim 编辑器自动突出显示 PHP 文件 vim file php HTML 文件 vim file html 等等 但是当我输入 vim file在里面写一个Bash脚本 它不会突出显示它 我如何告诉 Vim 将其突出显示为 Bas

  • Apache 端口转发 80 到 8080 并访问 Apache (80) 中托管的应用程序，即 phpMyadmin 和 Tomcat (8080)

    我想访问托管在 tomcat 服务器 8080 中的应用程序 myapp 当前可以通过以下方式访问http example com 8080 myapp http example com 8080 myapp in http example

  • 应用程序中两个不同版本的库

    考虑一个场景 其中有两个不同版本的共享库 考虑 A 1 so 链接到 B so A 2 so 链接到 C so 现在 B so 和 C so 都链接到 d exe 当 B so 想要调用 A 1 so 中的函数时 它最终会调用 A 2 so

  • 如何在Linux上用C/C++编写Web服务器[关闭]

    Closed 这个问题需要多问focused help closed questions 目前不接受答案 我正在考虑在 Linux 平台上开发一个小型 阅读 初级 Web 服务器 但我不知道从哪里开始 我希望它能够做的是 监听特定端口 接受

  • 如何将一个文本文件拆分为多个 *.txt 文件？

    我有一个文本文件file txt 12 MB 包含 something1 something2 something3 something4 有没有办法分开file txt分成 12 个 txt 文件 比方说file2 txt file3 t

  • 如何获取与 shell 中的文件名模式匹配的所有文件的总文件大小？

    我正在尝试仅使用 shell 来计算与文件名模式匹配的所有文件 在目录树中 的总大小 以字节为单位 这是我到目前为止所拥有的 find name undo exec stat c s awk 总计 1 END 打印总计 有没有更简单的方法来

  • 使用 shell 脚本发送 HTML 邮件

    如何使用 shell 脚本发送 HTML 电子邮件 首先 您需要撰写消息 最低限度由这两个标头组成 MIME Version 1 0 Content Type text html 以及适当的消息正文 p Hello world p 获得后

  • 在本地主机上使用相同的 IP 和端口创建套接字

    我在 Linux 上看到奇怪的行为 我看到远程端和本地端都显示相同的 IP 和端口组合 以下是 netstat 输出 netstat anp 网络统计grep 6102 tcp 0 0 139 185 44 123 61020 0 0 0

  • Hadoop - 直接从 Mapper 写入 HBase

    我有一个 hadoop 作业 其输出应写入 HBase 我并不真正需要减速器 我想要插入的行类型是在映射器中确定的 如何使用 TableOutputFormat 来实现此目的 从所有示例中 我看到的假设是 reducer 是创建 Put 的

  • Nuxt.js 使用 https 调用服务器端 API 的问题

    当我使用 HTTP 时 我遇到 nuxt 服务器端 API 调用问题S 在客户端 一切都很好 当我通过链接在客户端切换页面时 API 可以工作 但是当我按下 Ctrl f5 并且数据将在服务器端预取时 实际上没有 API 调用 也没有提供数

  • 为什么此 NASM 代码会打印我的环境变量？

    本学期我刚刚完成计算机体系结构课程 除其他外 我们一直在涉足 MIPS 汇编并在 MARS 模拟器中运行它 今天 出于好奇 我开始在我的 Ubuntu 机器上摆弄 NASM 基本上只是将教程中的内容拼凑起来 并感受一下 NASM 与 MIP

  • 如何在 Linux 和 C 中使用文件作为互斥体？

    我有不同的进程同时访问 Linux 中的命名管道 并且我想让此访问互斥 我知道可以使用放置在共享内存区域中的互斥体来实现这一点 但作为一种家庭作业 我有一些限制 于是 我想到的是对文件使用锁定原语来实现互斥 我做了一些尝试 但无法使其发挥作

  • LINUX：如何锁定内存中进程的页面

    我有一个 LINUX 服务器 运行一个具有大量内存占用的进程 某种数据库引擎 该进程分配的内存太大 需要将其中一部分换出 换出 我想做的是将所有其他进程 或正在运行的进程的子集 的内存页面锁定在内存中 以便只有数据库进程的页面被换出 例如

  • 如何从 C++ 程序中重新启动 Linux？

    我有一个 Qt 4 GUI 我需要在下拉菜单中提供一个选项 允许用户选择重新启动计算机 我意识到这对于以其他方式重新启动计算机的能力来说似乎是多余的 但选择需要保留在那里 我尝试使用 system 来调用以下内容 suid root she

  • Linux无法删除文件

    当我找到文件时 我在删除它们时遇到问题 任务 必须找到带有空格的文件并将其删除 我的尝试 rm find L root grep i 但我有错误 rm cannot remove root test No such file or dire

  • 在汇编中使用 printf 会导致管道传输时输出为空，但可以在终端上使用

    无输出 https stackoverflow com questions 54507957 printf call from assembly do not print to stdout即使在终端上 当输出不包含换行符时也有相同的原因

  • grep 排除文件的数组参数

    我想从我的文件中排除一些文件grep命令 为此我使用参数 exclude excluded file ext 为了更容易阅读 我想使用包含排除文件的 bash 数组 EXCLUDED FILES excluded file ext 然后将

  • 批量删除文件名中包含 BASH 中特殊字符的子字符串

    我的目录中有一个文件列表 opencv calib3d so2410 so opencv contrib so2410 so opencv core so2410 so opencv features2d so2410 so opencv

  • SSH，运行进程然后忽略输出

    我有一个命令可以使用 SSH 并在 SSH 后运行脚本 该脚本运行一个二进制文件 脚本完成后 我可以输入任意键 本地终端将恢复到正常状态 但是 由于该进程仍在我通过 SSH 连接的计算机中运行 因此任何时候它都会登录到stdout我在本地终

  • 如何使用 JSch 将多行命令输出存储到变量中

    所以 我有一段很好的代码 我很难理解 它允许我向我的服务器发送命令 并获得一行响应 该代码有效 但我想从服务器返回多行 主要类是 JSch jSch new JSch MyUserInfo ui new MyUserInfo String

随机推荐

  • 在SQL中寻找唯一记录的3种终极方法

    在SQL中寻找唯一记录的3种终极方法 停止使用DISTINCT 开始使用这些快速替代方法 以避免混淆 照片 Luis Cortes on Unsplash 不使用DISTINCT关键字就能获得唯一记录 在你的数据分析项目中 只要你需要从数据

  • Windows server 2008 R2远程桌面3389端口号修改及远程桌面窗口大小调整

    转自 https help aliyun com document detail 51644 html spm 5176 doc51644 6 784 4iAHWH 修改 Windows 服务器默认远程端口 操作步骤 远程连接并登录到 Wi

  • ConcurrentHashMap概述

    1 前言 为什么要使用 ConcurrentHashMap 主要基于两个原因 在并发编程中 jdk1 7的情况下使用 HashMap 可能造成死循环 而jdk1 8 中有可能会造成数据丢失 HashTable 效率非常低下 2 Concur

  • Java微服务内存占用分析

    一 Java 进程中有哪些组件会占用内存 通过 Native Memory Tracking 可以观察到有以下 JVM 组件 在命令行加上 XX NativeMemoryTracking summary 会增加3MB左右内存 损失5 10

  • Leetcode 2861. Maximum Number of Alloys

    Leetcode 2861 Maximum Number of Alloys 1 解题思路 2 代码实现 题目链接 2861 Maximum Number of Alloys 1 解题思路 这一题思路上还是挺清晰的 就是对每一台机子看一下其

  • 利用Redisson实现分布式锁及其底层原理解析

    Redis介绍 redis是一个key value存储系统 和Memcached类似 它支持存储的value类型相对更多 包括string 字符串 list 链表 set 集合 zset sorted set 有序集合 和hash 哈希类型

  • python3下使用requests实现模拟用户登录 —— 基础篇（马蜂窝）

    python3下使用requests实现模拟用户登录 基础篇 马蜂窝 1 了解cookie和session 首先一定要先了解到cookie和session是什么 这是后面理解网站交互 模拟用户登录的基础 1 1 无状态协议 Http 如上图

  • 控制台调用百度api接口实现post请求

    控制台调用百度api接口实现post请求 需要注意的是 请求是json格式 要把请求的东西用json包装起来 json text 苹果是一家伟大的公司 发送Post请求 var request HttpWebRequest WebReque

  • 子域名爆破&C段查询&调用Bing查询同IP网站

    在线子域名爆破 1

  • Java中List集合(String类型)三种遍历的方法

    Java中List集合的 String类型 三种遍历的方法 程序代码 程序运行结果 程序代码 package homework09 homework0927 import java util ArrayList import java ut

  • 创建android studio linux版本快捷方式

    问题背景 linux系统安装android studio后无法直接打开 一种方式是执行bin目录下的sh文件 另一种是手动建立快捷方式 以下为介绍如何使用linux系统中的 desktop规则 创建快捷方式 1 在application目录

  • 【Java案例】购书系统（超详细）

    不爱生姜不吃醋 声明 原创不易 转载请注明原链接 看完之后觉得不错的话麻烦动动小手点个赞赞吧 如果本文有什么错误的话欢迎在评论区中指正哦 大家的支持就是我最大的动力 冲啊 与其明天开始 不如现在行动 Java案例 学籍管理系统 超详解 文章

  • SRTM数据介绍与下载

    本文主要介绍SRTM DEM 数据及下载过程 文章目录 一 SRTM数据介绍 二 数据下载 三 数据处理 一 SRTM数据介绍 DEM是对遥感影像进行处理获得的栅格数字高程模型 只有一个波段 且是遥感影像中合成的波段 SRTM 航天飞机雷达

  • 外包项目服务器被黑了,蓝盟经验谈，安全经验谈之网络服务器如何防止被黑

    1 对数据库进行安全配置 例如你的程序连接数据库所使用的帐户 口令 权限 如果是浏览新闻的 用只读权限即可可以对不同的模块使用不同的帐户 权限 另外 数据库的哪些存储过程可以调用 也要进行严格地配置 用不到的全部禁用 特别是cmd这种 防止

  • @Autowired一个接口有多个实现类

    Autowired是spring的注解 默认使用的是byType的方式向Bean里面注入相应的Bean 例如 Autowired private UserService userService 这段代码会在初始化的时候 在spring容器中

  • 第四季新星计划即将开启，博客之星取消拉票你怎么看？

    catalogue 写在前面 线下创机遇 新星计划 做导师可以得到什么 新星计划跟原力计划有何不同 博客之星新玩法你怎么看 写在前面 哈喽 大家好 我是几何心凉 这是一份全新的专栏 得到CSDN王总的授权 来对于我们每周四的绿萝时间 直达C

  • JAVA的HttpClient问题：The server failed to respond with a valid HTTP response

    Caused by org apache http ProtocolException The server failed to respond with a valid HTTP response 昨天帐前 卒使用java 的HttpCl

  • 微信js-sdk 分享配置报错config:invalid signature？

    缘起 最近做H5关于微信分享的需求的时候 遇到了大坑 由于没使用过js sdk做微信分享 故查阅了很多资料 大多数博主的代码偏差都不大 于是我借鉴了核心写法 我的代码 wechatApi wechatConfigInit 是封装的微信js

  • 【Linux】shell编程之循环语句

    提示 文章写完后 目录可以自动生成 如何生成可参考右边的帮助文档 文章目录 一 循环语句 二 for循环语句 1 for 语句的结构 2 for语句应用示例 三 while 循环语句 1 while 循环语句结构 2 while语句应用示例

  • Hadoop的Nodes of the cluster界面MemoryTotal为0B

    1 hadoop集群安装部署结束 一键启动 start all sh 2 查看各主从机器上jps进程 jps master ResourceManager NameNode slave1 第二namenode DataNode Second

热门标签