程序员经验分享-hwhale

TIME_WAIT过多故障，如何解决？

2023-05-16

1 time_wait的作用

1）可靠地实现TCP全双工连接的终止

在进行关闭连接四次挥手协议时，最后的ACK是由主动关闭端发出的，如果这个最终的ACK丢失，服务器将重发最终的FIN，因此客户端必须维护状态信息允许它重发最终的ACK。如果不维持这个状态信息，那么客户端将响应RST分节，服务器将此分节解释成一个错误（在java中会抛出connection reset的SocketException)。因而，要实现TCP全双工连接的正常终止，必须处理终止序列四个分节中任何一个分节的丢失情况，主动关闭的客户端必须维持状态信息进入TIME_WAIT状态。

2）允许老的重复分节在网络中消逝

TCP分节可能由于路由器异常而“迷途”，在迷途期间，TCP发送端可能因确认超时而重发这个分节，迷途的分节在路由器修复后也会被送到最终目的地，这个原来的迷途分节就称为lost duplicate。
在关闭一个TCP连接后，马上又重新建立起一个相同的IP地址和端口之间的TCP连接，后一个连接被称为前一个连接的化身（incarnation)，那么有可能出现这种情况，前一个连接的迷途重复分组在前一个连接终止后出现，从而被误解成从属于新的化身。
为了避免这个情况，TCP不允许处于TIME_WAIT状态的连接启动一个新的化身，因为TIME_WAIT状态持续2MSL，就可以保证当成功建立一个TCP连接的时候，来自连接先前化身的重复分组已经在网络中消逝。

2、大量TIME_WAIT造成的影响：

在高并发短连接的TCP服务器上，当服务器处理完请求后立刻主动正常关闭连接。这个场景下会出现大量socket处于TIME_WAIT状态。如果客户端的并发量持续很高，此时部分客户端就会显示连接不上。
主动正常关闭TCP连接，都会出现TIMEWAIT。

为什么要关注这个高并发短连接呢？有两个方面需要注意：

  1. 高并发可以让服务器在短时间范围内同时占用大量端口，而端口有个0~65535的范围，并不是很多，刨除系统和其他服务要用的，剩下的就更少了。

  2. 在这个场景中，短连接表示“业务处理+传输数据的时间 远远小于 TIMEWAIT超时的时间”的连接。

    这里有个相对长短的概念，比如取一个web页面，1秒钟的http短连接处理完业务，在关闭连接之后，这个业务用过的端口会停留在TIMEWAIT状态几分钟，而这几分钟，其他HTTP请求来临的时候是无法占用此端口的(占着茅坑不拉翔)。

单用这个业务计算服务器的利用率会发现，服务器干正经事的时间和端口（资源）被挂着无法被使用的时间的比例是 1：几百，服务器资源严重浪费。（说个题外话，从这个意义出发来考虑服务器性能调优的话，长连接业务的服务就不需要考虑TIMEWAIT状态。同时，假如你对服务器业务场景非常熟悉，你会发现，在实际业务场景中，一般长连接对应的业务的并发量并不会很高。

综合这两个方面，持续的到达一定量的高并发短连接，会使服务器因端口资源不足而拒绝为一部分客户服务。同时，这些端口都是服务器临时分配，无法用SO_REUSEADDR选项解决这个问题。

关于time_wait的反思：

存在即是合理的，既然TCP协议能盛行四十多年，就证明他的设计合理性。所以我们尽可能的使用其原本功能。

依靠TIME_WAIT状态来保证我的服务器程序健壮，服务功能正常。

那是不是就不要性能了呢？并不是。如果服务器上跑的短连接业务量到了我真的必须处理这个TIMEWAIT状态过多的问题的时候，我的原则是尽量处理，而不是跟TIMEWAIT干上，非先除之而后快。

如果尽量处理了，还是解决不了问题，仍然拒绝服务部分请求，那我会采取负载均衡来抗这些高并发的短请求。持续十万并发的短连接请求，两台机器，每台5万个，应该够用了吧。
一般的业务量以及国内大部分网站其实并不需要关注这个问题，一句话，达不到时才需要关注这个问题的访问量。

3、案列分析：

首先，根据一个查询TCP连接数，来说明这个问题。

netstat -ant|awk '/^tcp/ {++S[$NF]} END {for(a in S) print (a,S[a])}'
LAST_ACK 14
SYN_RECV 348
ESTABLISHED 70
FIN_WAIT1 229
FIN_WAIT2 30
CLOSING 33
TIME_WAIT 18122

状态描述：

CLOSED：无连接是活动的或正在进行

LISTEN：服务器在等待进入呼叫

SYN_RECV：一个连接请求已经到达，等待确认

SYN_SENT：应用已经开始，打开一个连接

ESTABLISHED：正常数据传输状态

FIN_WAIT1：应用说它已经完成

FIN_WAIT2：另一边已同意释放

ITMED_WAIT：等待所有分组死掉

CLOSING：两边同时尝试关闭

TIME_WAIT：另一边已初始化一个释放

LAST_ACK：等待所有分组死掉

命令解释：

先来看看netstat：

netstat -n
Active Internet connections (w/o servers)
Proto Recv-Q Send-Q Local Address Foreign Address State
tcp 0 0 123.123.123.123:80 234.234.234.234:12345 TIME_WAIT

你实际执行这条命令的时候，可能会得到成千上万条类似上面的记录，不过我们就拿其中的一条就足够了。

再来看看awk：

/^tcp/
滤出tcp开头的记录，屏蔽udp, socket等无关记录。

state[]相当于定义了一个名叫state的数组

NF
表示记录的字段数，如上所示的记录，NF等于6

$NF
表示某个字段的值，如上所示的记录，$NF也就是$6，表示第6个字段的值，也就是TIME_WAIT
state[$NF]表示数组元素的值，如上所示的记录，就是state[TIME_WAIT]状态的连接数
++state[$NF]表示把某个数加一，如上所示的记录，就是把state[TIME_WAIT]状态的连接数加一
END
表示在最后阶段要执行的命令
for(key in state)
遍历数组

如何尽量处理TIMEWAIT过多?

编辑内核文件/etc/sysctl.conf，加入以下内容：

net.ipv4.tcp_syncookies = 1 
#表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭；

net.ipv4.tcp_tw_reuse = 1 
#表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭；

net.ipv4.tcp_tw_recycle = 1 
#表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。

net.ipv4.tcp_fin_timeout 
#修改系默认的 TIMEOUT 时间

然后执行 /sbin/sysctl -p 让参数生效.

/etc/sysctl.conf是一个允许改变正在运行中的Linux系统的接口，它包含一些TCP/IP堆栈和虚拟内存系统的高级选项，修改内核参数永久生效。

简单来说，就是打开系统的TIMEWAIT重用和快速回收。

如果以上配置调优后性能还不理想，可继续修改一下配置：
复制代码

vi /etc/sysctl.conf
net.ipv4.tcp_keepalive_time = 1200 
#表示当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时，改为20分钟。
net.ipv4.ip_local_port_range = 1024 65000 
#表示用于向外连接的端口范围。缺省情况下很小：32768到61000，改为1024到65000。
net.ipv4.tcp_max_syn_backlog = 8192 
#表示SYN队列的长度，默认为1024，加大队列长度为8192，可以容纳更多等待连接的网络连接数。
net.ipv4.tcp_max_tw_buckets = 5000 
#表示系统同时保持TIME_WAIT套接字的最大数量，如果超过这个数字，TIME_WAIT套接字将立刻被清除并打印警告信息。

默认为180000，改为5000。对于Apache、Nginx等服务器，上几行的参数可以很好地减少TIME_WAIT套接字数量，
但是对于 Squid，效果却不大。此项参数可以控制TIME_WAIT套接字的最大数量，
避免Squid服务器被大量的TIME_WAIT套接字拖死。

还可参考下面一位大佬工作中遇到此问题的前期排查和解决思路方法
TIME_WAIT太多解决思路和方法

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

TIME_WAIT过多故障，如何解决？ 的相关文章

  • JAVA基础题练习

    顺序插入 xff1a 插入有序 Scanner input 61 new Scanner System in char arr2 61 39 b 39 39 d 39 39 f 39 39 i 39 39 k 39 39 m 39 39 x

  • ubuntu20.04安装qq音乐并解决闪退问题

    在qq音乐官网下载linux版coco音乐 xff1a https y qq com download download html 下载deb包并且通过下面命令行安装 xff1a span class token function sudo

  • 架构师装逼核武器

    架构师这个职位是很多程序猿的梦想 xff0c 我有很多朋友私下和我聊天的时候 xff0c 曾多次问我要如何才能成为一个架构师 xff0c 对于这个问题 xff0c 我只能粗略的谈谈我个人的观点 xff0c 如有不同观点 xff0c 欢迎交流

  • 一文讲透java日志框架

    在项目开发过程中 xff0c 有一个必不可少的环节就是记录日志 xff0c 相信只要是个程序员都用过 xff0c 可是咱们自问下 xff0c 用了这么多年的日志框架 xff0c 你确定自己真弄懂了日志框架的来龙去脉嘛 xff1f 下面笔者就

  • HashMap底层原理

    在我们实际的项目中 xff0c HashMap这个集合类经常被用到 xff0c 可是就是这么一个常用的集合类 xff0c 却往往成了咱们面试中的绊脚石 即便你是个初级程序员 xff0c 也常会让你谈谈HashMap的底层原理 xff0c 今

  • 聊聊ThreadPoolExecutor线程池

    ThreadPoolExecutor是线程的池化技术 xff0c 也就是首先创建几个线程 xff0c 然后把线程放到池子里 xff0c 有任务来的时候直接从线程池中拉线程来执行任务 为什么要用池化技术 xff1f java中的线程是系统级别

  • Spring框架系列之bean的生命周期底层原理06

    bean的生命周期 xff0c 咱们必须从 AnnotationConfigApplicationContext的getBean方法开始 xff0c getBean顾名思义就是从Spring容器中得到一个Bean的实例对象 xff0c Sp

  • 电信运营商移动互联网发展分析

    电信运营商移动互联网发展分析 移动互联网是通信业发展的大趋势 xff0c 随着3G 和WiMAX 等高速无线接入技术的飞速发展 xff0c 移动互联网不仅继承固定互联网的很多技术 xff0c 并且在商务 娱乐以及移动性等方面拓展用户需求 自

  • Spring框架系列之bean的生命周期底层原理07

    上一篇我们预留了两个大的内容 xff0c 一个是Object sharedInstance 61 getSingleton beanName 从单例池中获取数据 xff0c 另外一个是getSingleton方法创建单例Bean xff0c

  • Spring框架系列之bean的生命周期底层原理08

    接着上一篇 xff0c 咱们继续doCreateBean方法的分析 xff0c doCreateBean内容比较多 xff0c 我们这次主要是把它的整体流程说下 xff0c 后续会逐个来分析每一个关键点 代码如下 xff1a protect

  • 2020-09-25 Python基础学习第三天笔记

    文章目录 一 可变字符串二 运算符三 列表1 列表的创建2 列表常用命令3 多维列表 四 元组 2020 9 24 Day3 一 可变字符串 需要原地修改字符串 xff0c 可以使用 io StringIO 对象或 array 模块 spa

  • Python Cookbook学习总结

    第一章 xff1a 数据结构和算法 任何序列 xff08 可迭代的对象 xff09 都可以通过一个简单的赋值操作来分解为单独的变量 xff0c 唯一的要求是变量的总数和结构要与序列相吻合 xff08 比如对于存储二维坐标等的二维数组 xff

  • SpringBoot解析yml/yaml/properties配置文件的四种方式汇总

    目录 一 配置文件注入方式一 64 Value 二 配置文件注入方式二 64 ConfigurationProperties 三 自定义解析类 xff0c 直接暴力读取yml配置文件 四 Spring配置文件的解析类Environment获

  • Linux下配置Apache为多端口 （centos7）

    apache设置多个不同的端口 xff0c 映射不同的文件 一 xff1a vim etc httpd conf httpd conf 查看http配置文件 滑倒最底部 xff0c 箭头标注的位置 我们需要进入该目录编辑 二 xff1a c

  • android11.0上通过广播屏蔽电源键功能

    framework base services core java com android server policy PhoneWindowManager java import java util HashSet import java

  • python和matlab实现随机攻击网络节点+蓄意攻击网络节点，实现最大连通子图比例、网络效率变化、平均距离变化等等。

    首先要有自己的邻接关系 xff0c 最好是邻接表 xff0c 如下图这样包括起点和终点 要在网络中读取自己的文件 xff0c 生成自己的复杂网络图 知道攻击方式包括哪些 xff1a 比如度 介数等 xff0c 选择自己想要的攻击方式 在研究

  • 2021-05-22

    第一个作业 xff1a 使用python编写一个数学表达式 注意 43 的运算顺序 xff0c 可以使用括号改变运算顺序 xff0c 和数学运算一样 第二个作业 xff1a 使用输入函数input xff08 提示符 xff09 xff0c

  • JavaScript变量的命名规则和命名规范

    变量的命名规则和命名规范 1 规则 你必须遵守 不然报错 1 1 一个变量只能由 数字 0 9 字母 a zA Z 美元符 划线下 组成 1 2 一个变量不能由 数字 开头 1 3 再 JS 中严格区分大小写 61 gt num Num N

  • 不惧掉签 | 苹果IPA安装包，免费自签教程

    最近连续更新了好几款 TikTok xff0c 基本上是刚更新没两天就掉签 大家也知道 xff0c 苹果的软件不像安卓 未上架App Store的软件只能签名后才能正常安装 不过 xff0c 好在国民手机管理软件 爱思助手 客户端也加入了

  • JavaScript把其他数据类型转换成字符串类型

    数据类型转换 转字符串 把其他数据类型转换成字符串类型 1 String 43 语法 String 你要转换的数据 43 返回值 转换好的数据 43 特点 61 gt 任何数据类型都能转换 2 toString 43 语法 你要转换的数据

随机推荐

  • JavaScript条件分支语句-switch语句

    条件分支语句 switch 43 语法 switch 要判断的变量 case 情况1 情况1执行的代码 break case 情况2 情况2执行的代码 break default 所有条件都不满足的时候执行的代码 43 注意 1 我们的每一

  • JavaScirpt - arguments

    arguments 43 在函数内部天生自带的变量 43 表示所有实参的集合 伪数组 arguments 的属性 1 length 61 gt 表示长度 arguments 里面由多少个数据 61 gt 其实就是你的函数调用由多少个实参 6

  • 简版弹幕实现。HTML+CSS+JAVASCRIPT

    思路 xff1a 1 设置video 2 设置输入框 3 获取输入框的内容 xff0c 添加 删除和更新 4 里面运用了单厂模式 xff0c 每次生成的例子都是一样的 span class token doctype lt DOCTYPE

  • webpack 模块加载原理

    webpack webpack 原理 1 webpack 模块加载原理 文件信息来源 xff1a webpack 深入理解模块加载原理 webpack 是一个模块打包器 xff0c 在它看来 xff0c 每一个文件都是一个模块 1 1 Co

  • 使用 FSL 和 TrackVis 分析 DTI 数据

    转载原文 使用 FSL 和 TrackVis 分析 DTI 数据 Alex 2018 05 21 free learner 64 163 com 弥散加权成像 xff08 Diffusion Weighted Imaging DWI xff

  • Java Swing界面设计UI（全）

    原文链接 http blog csdn net xietansheng article details 72814531 Java Swing GUI 图形界面窗口开发基础教程 xff0c 本教程将系统性地详细介绍 Java Swing 开

  • IntelliJ IDEA必会的几个常用设置

    IDEA 全称 IntelliJ IDEA xff0c 是java编程语言开发的集成环境 IntelliJ在业界被公认为最好的java开发工具 xff0c 以下归纳了初学者使用idea的一些常用设置 一 ctrl 43 滚轮调整页面大小 F

  • 什么是面向对象，它的三个基本特征：封装、继承、多态

    什么是面向对象思想 xff1f 已经学完了java确不知道如何跟别人解释面向对象是什么意思这很常见 让我们一起来回顾下这个奇思妙想 文章目录 一 面向对象与面向过程1 什么是面向过程 xff1f 2 什么是面向对象 xff1f 二 类与对象

  • 一篇文章说清 ：无锁、偏向锁、轻量级锁、重量级锁

    文章目录 前言一 无锁二 偏向锁三 轻量级锁 xff08 自选锁 xff09 四 重量级锁锁升级场景 前言 JDK1 6为了减少获得锁和释放锁所带来的性能消耗 xff0c 引入了 偏向锁 和 轻量级锁 xff0c 所以在JDK1 6里锁一共

  • Spring EL正则表达式示例

    Spring EL使用简单的关键字 matches 支持正则表达式 xff0c 这真是太棒了 xff01 举些例子 xff0c 64 Value 34 39 100 39 matches 39 d 43 39 34 private bool

  • 数据库难点：脏读、幻读、不可重复读与四种隔离级别

    目录 前言一 什么是事务 xff1f 二 事务的ACID特性 xff08 1 xff09 原子性 xff08 2 xff09 一致性 xff08 3 xff09 隔离性 xff08 4 xff09 持久性 三 何为脏读 xff0c 幻读 x

  • java如何实现对Excel内容读写，如何将Excel内容导入导出数据库，让我们一起来看看

    文章目录 前言一 什么是POI xff1f 二 引入依赖三 用POI读取Excel文件内容四 用POI向Excel文件写入五 从Excel读取内容写入数据库六 从数据库读取内容写入Excel表中 前言 最近遇到这样一个需求 xff1a 需要

  • 安装Android Studio报错“gradle project sync failed“或“Cannot resolve symbol“的解决办法

    项目场景 xff1a 安装android studio 2020 3 1 26 windows 问题描述 1 34 gradle project sync failed 34 如图所示错误 2 但是接下来就遇到了 Cannot resolv

  • Centos7安装、各种环境配置和常见bug解决方案，保姆级教程（更新中）

    文章目录 前言一 Centos7安装二 各种环境配置与安装2 1 安装net tools xff08 建议 xff09 2 2 配置静态网络 xff08 建议 xff09 2 1 修改Centos7的时间 xff08 建议 xff09 2

  • 软件设计师提纲+复习资料整理（上午题）

    文章目录 软件设计师考试大纲上午题 xff08 选择题 xff09 一 计算机组成原理考点 xff1a CPU结构组成考点 xff1a 原码 反码 补码定点整数范围考点 xff1a 浮点数表示考点 xff1a RISC和CISC计算机的区别

  • idea控制台拖出来了，怎么恢复，解决办法

    问题描述 idea控制台拖出来了如何恢复成原样 解决方案 xff1a 方法一 方法二

  • MariaDB的安装与配置

    MariaDB的安装与配置 菜鸡我是用阿里源安装的 MariaDB是MySQL的一个分支 xff0c 由开源社区维护 xff0c 采用GPL授权许可 完全兼容MySQL 1 安装相对应的源 span class token function

  • 程序员如何更好的提升自己

    首先你得明白 xff0c 一个人的能力就像一个池塘 xff0c 不断的输入又不断地输出 xff0c 水池的容量以及水的质量决定了输出的高效与否 xff0c 输入大于输出 xff0c 你的池塘就会不断扩大 xff0c 换句话说你会的技能就越来

  • Linux find命令详解

    find命令 xff1a 快速查找数据信息 find 查找范围 条件01 a 条件02 a 条件03 根据多个多个条件查找数据 xff08 多个条件是并且关系 xff09 find 查找范围 条件01 o 条件02 o 条件03 根据多个多

  • TIME_WAIT过多故障，如何解决？

    1 time wait的作用 1 xff09 可靠地实现TCP全双工连接的终止 在进行关闭连接四次挥手协议时 xff0c 最后的ACK是由主动关闭端发出的 xff0c 如果这个最终的ACK丢失 xff0c 服务器将重发最终的FIN xff0

热门标签