服务器定时重启问题排查

2023-10-30

上周主要处理了,两个生产问题。工作电脑没带,主要简述一下。

  1. 每天的20:13分linux服务器(centos7.4)重新启动
  2. 应用服务接口类交易,耗时20秒,频发

这里先说一下服务器重启的问题。
此次重启共发生三天,第一次主要排查管控平台,发现服务器漂移了触发重启。第二天再次发生,未漂移,于是引发重视,开始排查服务器问题。
一般来说linux服务器除非人为操作,自己是不可能主动重启的,要么宕机,要么正常。
因此首先排查当前服务器上已部署的应用,发现只存在一个基于Docker 容器化的一个微服务工程,容器是以服务的形式提供给别的部门使用。因此不便排查应用日志,联系使用人沟通应用状态,先自行排查。
抛开应用只能查看服务器系统日志,系统定时脚本:

#查看定时任务
crontab -l
#查看定时任务执行日志
cat /var/log/cron
#查看定时任务脚本
cd /etc/cron.d/ 
ll
#其他可能出发定时的文件
ls /etc/cron.*
cat ....

经过排查,未发现有任何定时任务会触发服务器重启现象;
继续排查服务器系统日志:

more /var/log/message   #message可能有很多个,按时间戳查询自己需要的日志

通过message能够看到在每天的20:13分,服务器开始停止相关服务,然后紧接着进行启动,执行到开始记录系统日志后,不在有任何日志输出。通过message未发现问题。
开始排查系统 crash ,使用 crash 分析为工具进行分析后,发现每天都是因为空指针的调用触发了服务器的crash操作导致系统服务器重启。联系应用同事,经过沟通,当前部署环境主要未演示使用,未开放,应用存在大量的空指针现象。
因此当晚进行验证。测试通过。此次问题解决。
总结:

问题算是解决了,但也暴露了很多其他问题,最明显的就是在进行crash分析的时候大量的汇编命令不熟,只能百度着一个一个的进行解读。
对于Docker的理解上可能还有些欠缺,一直以为docker容器算是一个小型的linux服务器,通过类似虚拟化的方式进行搭建,从这次的排查来看应该不是这么简单的,容器对于linux宿主机的依赖或者说影响还是比较大的,容器内的服务进程可以说是运行在容器上,也可以说是运行在宿主机上,和虚拟机的方式差异不小

PS:感谢两位同事的帮助。

crash 安装步骤:

cd /usr/local/src/
wget http://linuxsoft.cern.ch/centos-debuginfo/7/x86_64/kernel-debuginfo-common-x86_64-3.10.0-693.el7.x86_64.rpm
wget http://linuxsoft.cern.ch/centos-debuginfo/7/x86_64/kernel-debuginfo-3.10.0-693.el7.x86_64.rpm
rpm -ivh /usr/local/src/*.rpm
yum install crash
crash /lib/debug/lib/modules/3.10.0-693.el7.x86_64/vmlinux 内核日志文件

汇编指令参考:https://blog.csdn.net/qq_40531974/article/details/83897559
crash命令参考:https://blog.csdn.net/zhongnanjun_3/article/details/21074329
linux内核相关参考: https://www.dedoimedo.com/computers/crash-book.html#download

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

服务器定时重启问题排查 的相关文章

随机推荐

  • 中阳:ChatGPT横空出世,或迎来“安卓时刻”

    ChatGPT横空出世 写代码 写情书 写文章 做题 它啥都会 会被人工智能替代的行业 由人工智能实验室OpenAI发布的对话式大型语言模型ChatGPT在各大中外媒体平台掀起了一阵狂热之风 继 AI 绘画之后 由 OpenAI 上线的 C
  • Reference vs Pointer

    参考自Dan Saks的文章 An Introduction to References References and const The key insights I believe the key insight into why C
  • 用git和idea推送本地项目到远程仓库

    方式一 git命令方式 1 鼠标右键 Git Bash Here 2 初始化仓库 git init 3 配置签名 git config user name Zhang3 git config user email zhang3 163 co
  • WebFlux出现接口已返回成功,但查询时数据未改变的问题

    问题描述 在使用WebFlux时遇到一个很奇怪的问题 先调用禁用账号接口 接着在进行查询该数据 结果页面显示数据未改变 在点一次时页面数据才刷新 即连续点两次查询接口 才能看到修改后的数据 相关代码 前端 const disableAcco
  • 商城登录后端

    二 登录 1 用户名和密码 用户名和密码的格式验证可以不需要在后端进行 在前端服务器判断就可以 2 图片验证码与验证 import string redis from captcha image import ImageCaptcha cl
  • Email Error - You have exceeded the storage limit on your mailbox

    Description You may receive an error You have exceeded the storage limit on your mailbox Delete some items from your mai
  • 前端--三种插件用来解析mardowm,转化成为html语法

    前端 三种插件用来解析mardowm 转化成为html语法 使用方式十分简单 快捷 参考地址 1 markdown js 下载地址 https github com evilstreak markdown js div div
  • IBCS虚拟专线公网IP在公司内部搭建ERP系统按教程

    企业资源计划 ERP 系统是现代企业不可或缺的组成部分 可以将各个业务领域的信息整合到一个系统中 以实现信息共享 协调和协作 然而 随着企业规模的扩大 企业的ERP系统也需要相应地进行升级和扩展 因此 使用IBCS虚拟专线公网IP在公司内部
  • 五. Zuul 限流

    目录 一 spring cloud zuul ratelimit 基础解释 二 实现案例 1 pom 添加依赖 2 yml 配置 3 redis 配置类 4 自定义Zuul过滤器 5 自定义限流策略key 6 在当前Zuul服务中编写Con
  • string查找和替换

    string查找和替换 查找 查找指定字符串是否存在 替换 在指定的位置替换字符串 函数原型 int find const string str int pos 0 const 查找str第一次出现位置 从pos开始查找 int find
  • python读取串口数据 绘图_3.使用串口读取IMU数据并通过话题发布

    0x00 简介 我们的IMU扩展板是支持通过串口方式来读取IMU数据 现在代码已经开发完成 前面文章介绍的都是将IMU板插在树莓派上 然后使用树莓派的IIC接口来数据通信 因此不需要额外接线就可以发布imu话题的 若使用串口进行通信的话 若
  • 在Linux下安装jdk的步骤

    1 下载安装包 http www oracle com technetwork java javase downloads jdk8 downloads 2133151 html 版本 jdk 8u191 linux x64 tar gz
  • 确实卷,公司新来的00后卷王,我们这帮老油条真干不过.....

    都说00后躺平了 但是有一说一 该卷的还是卷 这不 前段时间我们公司来了个00后 工作没两年 跳槽到我们公司起薪18K 都快接近我了 后来才知道人家是个卷王 从早干到晚就差搬张床到工位睡觉了 最近和他聊了一次天 原来这位小老弟家里条件不太好
  • C#反编译工具:ILSpy

    参考 反编译软件ILSpy的使用教程 TONY5388的博客 CSDN博客 ilspy exe 总结 以前以为dnspy是反编译的 结果发现iLSpy是真的好用 可以选择生成不同C 版本的源码
  • SQLite数据库总结

    参考网址 https www cnblogs com stephen liu74 archive 2012 02 29 2328348 html 3种工作模式 1 SQLite完全内存数据库 在SQLite中 数据库通常是存储在磁盘文件中的
  • 【python】KNN模型训练及应用01

    目的应用 让电脑代替人工对图片分类 1 数据加载 from sklearn datasets import load iris from sklearn model selection import train test split fro
  • 今天终于知道了如果用layero获取layer弹窗中的子元素了

    通过layer弹出的ifram 想要获取里面的元素并且绑定相应的事件 以前一直不知道layero是什么意思 可以通过下面的代码自己体会一下 layer open type 2 title 文件管理 shadeClose true shade
  • 基于XStream的JavaBean与XML相互转换

    相对于JAXB XStream更简洁一些 常用注解 XStreamAlias 定义xml节点名 1 引入XStream依赖
  • 数据清洗分析导出遇到的一些问题

    本文简单记录一个学习过程 无技术含量 勿喷 环境 ambari 2 6 1 spark 2 1 python 3 6 oracle 11 2 sqoop 1 4 最近一直在测试数据采集 清洗 分析 导出 展示的一系列的工作 主要数据流程如下
  • 服务器定时重启问题排查

    上周主要处理了 两个生产问题 工作电脑没带 主要简述一下 每天的20 13分linux服务器 centos7 4 重新启动 应用服务接口类交易 耗时20秒 频发 这里先说一下服务器重启的问题 此次重启共发生三天 第一次主要排查管控平台 发现