程序员经验分享-hwhale

HDFS启动的时候出现JAVA_HOME is not set and could not be found.

2023-10-28

在启动HDFS 的时候执行start-dfs.sh脚本的时候出现如下问题

[root@node01 sbin]# ./start-dfs.sh
WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.
Starting namenodes on [node01]
上一次登录：一 10月 24 17:11:04 CST 2022pts/1 上
node01: ERROR: JAVA_HOME is not set and could not be found.
Starting datanodes
上一次登录：一 10月 24 17:12:22 CST 2022pts/1 上
node01: ERROR: JAVA_HOME is not set and could not be found.
node02: ERROR: JAVA_HOME is not set and could not be found.
node03: ERROR: JAVA_HOME is not set and could not be found.
Starting secondary namenodes [node03]
上一次登录：一 10月 24 17:12:23 CST 2022pts/1 上
node03: ERROR: JAVA_HOME is not set and could not be found.


由于集群是新搭建的，所以需要在hadoop-env,sh中添加java的路径

解决方案 

1、我们首先查看系统JAVA_HOME

echo $JAVA_HOME

linux系统输出

/usr/lib/java/jdk1.8.0_202 

2、进入到hadoop安装目录下的$HADOOP_HOME/etc/hadoop 目录下

进入到hadoop-env.sh中

vim hadoop-env.sh

3、在文件中添加如下内容（当前linux环境变量）

export JAVA_HOME=/usr/lib/java/jdk1.8.0_202 

4、修改后把hadoop-env.sh这个配置文件同步到所有hadoop节点

5、重新执行start-dfs.sh即可

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

1024程序员节

HDFS启动的时候出现JAVA_HOME is not set and could not be found. 的相关文章

  • Hadoop 推测任务执行

    在Google的MapReduce论文中 他们有一个备份任务 我认为这与Hadoop中的推测任务是一样的 推测任务是如何实现的 当我启动一项推测任务时 该任务是从一开始就作为较旧且缓慢的任务开始 还是从较旧的任务到达的位置开始 如果是这样

  • 名称节点处于安全模式

    我提到了这些问题名称节点处于安全模式 无法离开 https stackoverflow com questions 15803266 name node is in safe mode not able to leave and SafeM

  • Spark 写入 hdfs 无法使用 saveAsNewAPIHadoopFile 方法

    我在 CDH 5 2 0 上使用 Spark 1 1 0 并试图确保我可以读取和写入 hdfs 我很快意识到 textFile 和 saveAsTextFile 调用旧的 api 并且似乎与我们的 hdfs 版本不兼容 def testHD

  • 无法在 Hadoop Map-Reduce 作业中加载 OpenNLP 句子模型

    我正在尝试将 OpenNLP 集成到 Hadoop 上的 Map Reduce 作业中 从一些基本的句子分割开始 在地图函数中 运行以下代码 public AnalysisFile analyze String content InputS

  • Sqoop 导出分区的 Hive 表

    我在尝试导出分区的 Hive 表时遇到了一些问题 这是否完全受支持 我尝试用谷歌搜索并找到一张 JIRA 票证 sqoop export connect jdbc mysql localhost testdb table sales exp

  • 在 Hadoop MapReduce 中为二进制文件创建自定义 InputFormat 和 RecordReader

    我正在编写一个 M R 作业 该作业处理以二进制格式编写的大型时间序列数据文件 如下所示 此处换行以提高可读性 显然 实际数据是连续的 TIMESTAMP 1 TIMESTAMP 1 TIMESTAMP 2 TIMESTAMP 2 TIME

  • 无法在 Windows 10 中启动 Spark Master

    我是 Spark 新手 我正在尝试手动启动 master 在 Windows 10 中使用 MINGW64 当我这样做时 Downloads spark 1 5 1 bin hadoop2 4 spark 1 5 1 bin hadoop2

  • 使用 org.apache.hadoop/* 依赖项离线编译 sbt 时遇到的问题

    使用依赖于 org apache hadoop 包的 sbt 进行离线编译时遇到很多麻烦 一个简单的build sbt name Test version 1 0 scalaVersion 2 10 4 libraryDependencie

  • 覆盖hadoop中的log4j.properties

    如何覆盖hadoop中的默认log4j properties 如果我设置 hadoop root logger WARN console 它不会在控制台上打印日志 而我想要的是它不应该在日志文件中打印 INFO 我在 jar 中添加了一个

  • 为什么我们需要将外部表移动到托管 Hive 表？

    我是 Hadoop 新手 正在学习 Hive 在 Hadoop 权威指南第 3 版中 第 12 页 第428章 最后一段 我不明白下面关于 HIVE 中外部表的段落 一种常见的模式是使用外部表访问存储在 HDFS 中的初始数据集 由另一个进

  • 全部配对图表上的所有路径

    这可能是一个没有最佳解决方案的问题 假设我有一个有向图 不知道它是否有循环 循环检测将是这个问题的方面之一 给定一组顶点 可能是数百万个顶点 我需要计算给定图的所有唯一对之间的所有不同路径 没有重复顶点的路径 我该如何应对这种情况 让我们看

  • 使用 Java API 在 Hadoop 中移动文件？

    我想使用 Java API 在 HDFS 中移动文件 我想不出办法做到这一点 FileSystem 类似乎只想允许在本地文件系统之间移动 但我想将它们保留在 HDFS 中并将它们移动到那里 我错过了一些基本的东西吗 我能想到的唯一方法是从输

  • 错误 hive.HiveConfig：无法加载 org.apache.hadoop.hive.conf.HiveConf。确保 HIVE_CONF _DIR 设置正确

    我正在尝试将数据从 sqoop 导入到 hive MySQL use sample create table forhive id int auto increment firstname varchar 36 lastname varch

  • 将数据从 .txt 文件加载到 Hive 中以 ORC 形式存储的表

    我有一个数据文件位于 txt格式 我正在使用该文件将数据加载到 Hive 表中 当我将文件加载到类似表中时 CREATE TABLE test details txt visit id INT store id SMALLINT STORE

  • AWS EMR 引导操作为 sudo

    我需要更新 etc hosts适用于我的 EMR 集群 EMR AMI 4 3 中的所有实例 整个脚本无非就是 bin bash echo e ip1 uri1 gt gt etc hosts echo e ip2 uri2 gt gt e

  • Hadoop 超立方体

    嘿 我正在启动一个基于 hadoop 的超立方体 具有灵活的维度数 有人知道这方面现有的方法吗 我刚刚发现PigOLAP草图 http wiki apache org pig PigOLAPSketch 但没有代码可以使用它 另一种方法是Z

  • 通过Oozie命令行指定多个过滤条件

    我正在尝试通过命令行搜索一些特定的 oozie 作业 我使用以下语法进行相同的操作 oozie jobs filter status RUNNING status KILLED 但是 该命令仅返回正在运行的作业 而不是已杀死的作业 需要帮助

  • 谷歌的Dremel是什么？它与 MapReduce 有什么不同？

    谷歌的 Dremel 是此处描述 http research google com pubs pub36632 html Dremel 和 Mapreduce 有什么区别 Dremel http research google com pu

  • HIVE - 使用WITH CLAUSE插入覆盖

    我有一个生成的查询以WITH子句开头 当我在控制台中运行它时 当我尝试使用INSERT OVERWRITE运行查询以将输出加载到单独的配置单元表中时 该查询工作正常 INSERT OVERWRITE TABLE proc db master

  • 关于 Hadoop 和压缩输入文件的非常基本的问题

    我已经开始研究 Hadoop 如果我的理解是正确的 我可以处理一个非常大的文件 它会被分割到不同的节点上 但是如果文件被压缩 那么文件就无法分割 并且需要由单个节点处理 有效地破坏了运行一个mapreduce 一个并行机器集群 我的问题是

随机推荐

  • openssh升级之后git账户免密登陆失效

    昨天升级了openssh之后 git操作是免密的却要输入密码了 但是输入正确密码却又一直提示密码错误 查看sshd服务状态发现使用git账户登陆的时候会提示 get shadow information for nouser 额 这是因为我

  • 解读奥哲·云枢：低代码拉动“企业数字化转型”进度条

    世界上有两种生意 一种是标准化 一种是个性化 20世纪初 美国亨利 福特提出了大规模生产方式 由于可以带来成本的大幅降低 大规模生产方式推动了汽车行业长达半个多世纪的发展 几乎被北美和欧洲的每一种工业活动所采纳 而其最显著的特征则是提供标准

  • VUE之jspreadsheet电子excel表格实时动态高度设置

    问题 excel电子表格在不同屏幕大小下横向滚动条会被遮挡 排查原因 由于excel高度固定导致 解决方法 设计页面较多 所以封装公共方法 步骤 1 使用混入封装动态设置excel高度方法 const mixinJexcel mounted

  • 【区块链】 区块链哈希算法

    哈希算法是什么 哈希算法是区块链中保证交易信息不被篡改的单向密码机制 哈希算法接收一段明文后 以一种不可逆的方式将其转化为一段长度较短 位数固定的散列数据 它有两个特点 加密过程不可逆 意味着我们无法通过输出的散列数据倒推原本的明文是什么

  • 数组的排序函数

    1 sort sort 函数对索引数组进行升序排序 改变原数组

  • 【数据库内核】01——从0到1数据库内核实战，挑战数据库领域最强大脑

    前 言 作者简介 半旧518 长跑型选手 立志坚持写10年博客 专注于java后端 数据库内核及生态开发 专栏简介 相当硬核 讲解数据库内核开发的理论 实战 带你深入解读数据库源码 剖析内核原理 实战手撸数据库内核 文章简介 一篇文章快速上

  • 对部署在docker上的gitlab,修改成员用户信息和重置密码

    1 先启动并进入docker上的gitlab docker exec ti gitlab bin bash 2 启动gitlab rails 这个启动过程会有点慢 加载完之后是这样 3 查找用户信息 先定位自己需要更改的账户的ID 可以先把

  • CMake 打包已经存在的动态库生成 target

    一 背景 在 CMakeLists txt 中 某模块 A 通过 add subdirectory 引入模块 B 模块 B 通过 add subdirectory 引入模块 C 模块 C 里面本身就是一个开源的动态库 比如 libtask

  • Geth在以太坊智能合约开发中最常用的工具（必备开发工具）

    命令用法 geth 选项 命令 命令选项 参数 版本 1 7 3 stable 命令 account 管理账户 attach 启动交互式JavaScript环境 连接到节点 bug 上报bug Issues console 启动交互式Jav

  • 多元回归预测

    文章目录 效果一览 文章概述 部分源码 参考资料 效果一览 文章概述 多元回归预测 Matlab多元线性回归MLR多变量预测模型 多变量输入结构 评价指标包括 MAE RMSE和R2等 代码质量极高 方便学习和替换数据 要求2018版本及以

  • Python 画多个子图函数 subplot

    子图函数 subplot 若要 pyplot 一次生成多个图形 一般要用到subplot函数 另外还有一个subplots函数 两个函数比较接近但略有区别 限于篇幅 我们只介绍 subplot函数 它的基本语法如下 ax plt subpl

  • 用户进程与内核进程通信netlink实例

    为了方便应用程序使用netlink接口 一个叫libnl库被开发 1 下载libnl2 http packages ubuntu com oneiric libnl2 2 下载libnl2 dev http packages ubuntu

  • 当前计算机什么专业好就业找工作,计算机哪个专业最好就业

    计算机专业是现在比较热门的专业 很多高考生在填报志愿时都很想填报计算机专业 但是由于不了解就有些犹豫 为了帮助大家提前做好打算 高三网小编特意为大家整理了一下计算机哪个专业最好就业 仅供学生们阅读 计算机哪个专业最好就业 计算机科学与技术专

  • Mongdb查询 - 常见场景查询语句示例

    目录 查询数据 1 整个文档查询 2 条件查询 1 精准等值查询 2 多条件查询 3 嵌套对象精准查询 4 返回指定字段 5 条件查询 and 6 条件查询 or 7 范围查询 200 lt 9000 lt gt 8 范围查询 in 9 n

  • springboot启动配置文件bootstrap.yml无法加载,导致无法使用配置中心拉取配置启动项目的解决方法

    springboot启动配置文件bootstrap yml无法加载 导致无法使用配置中心拉取配置启动项目的解决方法 使用springcloud开发项目 需要从配置中心根据需求拉取环境配置 最近在本地开发环境进行调试时 突然发现无法启动项目工

  • K8S踩坑篇-master节点作为node节点加入集群

    前面我们二进制部署K8S集群时 三台master节点仅仅作为集群管理节点 所以master节点上中并未部署docker kubelet kube proxy等服务 后来我在部署mertics server istio组件服务时 发现无法正常

  • Hangfire应用场景

    Hangfire是一个用于在 NET应用程序中处理后台任务的开源库 它提供了一种简单而强大的方式来处理定时任务 延迟任务和长时间运行的任务 以下是一些Hangfire的应用场景 定时任务 Hangfire可以用来执行定期运行的任务 例如每天

  • C语言 数组

    CS头文件 define CRT SECURE NO WARNINGS 1 include

  • 「实战教程」如何使用POI读取模板PPT填充数据并拼接至目标文件

    文章目录 一 PPT文件格式介绍 1 PPT文件格式的概述 2 HSLF和XSLF的区别 3 如何选择合适的POI类库 二 SlideShow 三 读取PPT文件 1 加载PPT文件 2 获取PPT文件中的幻灯片 3 获取幻灯片中的形状元素

  • HDFS启动的时候出现JAVA_HOME is not set and could not be found.

    在启动HDFS 的时候执行start dfs sh脚本的时候出现如下问题 root node01 sbin start dfs sh WARNING HADOOP SECURE DN USER has been replaced by HD

热门标签