说明
hadoop平台有大量组件,上线后yarn执行全平台任务,各任务日志分散在集群各节点,为了高效追踪任务执行状态,确认异常时问题,hadoop提供了日志汇聚服务,并提供yarn页面查看,默认版本该功能关闭,需要配置开启。
分享
操作
修改配置
- 登录hadoop102,修改文件
/opt/module/hadoop-3.3.4/etc/hadoop/yarn-site.xml
增加如下配置
<!--开启日志聚集功能-->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间,单位秒 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
分发
- hadoop102 控制台执行:
xsync /opt/module/hadoop-3.3.4/etc/hadoop/yarn-site.xml
重启集群
hadoop 自身脚本
自定义脚本
- 使用自定脚本
myhadoop
,重启整个集群:myhadoop restart
总结
- 日志记录程序执行信息,是追踪程序异常的重要依据,所有这个配置很关键,某些时候,程序本地环境测试ok,上线因为集群环境或数据引发异常,只能通过日志追踪修正。