Too many open files in system 问题处理
服务器异常：
一串的etc下的shell文件报
/etc/profile.d/bash_completion.sh: Too many open files in system
查看当前操作系统允许打开的文件数
# 用户级查看：
ulimit -n
# 系统级查看：
cat /proc/sys/fs/file-max
发现设置为655360，执行lsof|wc -l命令为871031，和设定的值还有很大差距，为什么还会报too many open files呢，突然想起还有一个地方设置最大文件数
使用命令
cat /proc/sys/fs/file-max
65536
这个时候大概知道为啥出现异常了
echo 655360 > /proc/sys/fs/file-max
直接增大一倍，这样可以马上生效，但是如果操作系统重启，又会失效
如果需要永久生效，修改
vim /etc/sysctl.conf
fs.file-max = 655360
sysctl -p
修改文件句柄数方法：
1、用户级修改
# 1、临时生效方式
ulimit -SHn 65535
# -H：硬限制（就是实际真正的限制阈值），-S：软限制（警告限制，它只会给出警告），
# 如果运行ulimit命令没有加-H和-S，就是两个参数一起变，soft的限制不能比hard限制高。
# 2、永久生效方式
#（1）
vim /etc/security/limits.conf
#（2）添加如下配置：
# *号代表任何用户，soft：软限制，hard：硬限制
* hard nofile 655360 #任何用户可以打开的最大句柄数(超过会报错)
* soft nofile 655360 #任何用户可以打开的最大句柄数(超过会警告)
* hard nproc 655360 #任何用户可用的最大进程数量(超过会报错)
* soft nproc 655360 #任何用户可用的最大进程数量(超过会警告)
hxapp hard nofile 655360
hxapp soft nofile 655360
hxapp hard nproc 655360
hxapp soft nproc 655360
#（3）重启服务器
reboot
#（4）查看是否生效：
ulimit -a
2、系统级修改
# 1、临时生效方式
vim /proc/sys/fs/file-max
# 2、永久生效方式
#（1）
vim /etc/sysctl.conf
#（2）
fs.file-max = 655360
#（3）
重启服务器 reboot
#（4）
查看系统级文件句柄数是否生效 sudo sysctl -p
lsof 命令介绍
lsof 是 linux 下的一个非常实用的系统级的监控、诊断工具。
它的意思是 List Open Files，很容易你就记住了它是 “ls + of”的组合，它可以用来列出被各种进程打开的文件信息，记住：linux 下 “一切皆文件”，包括但不限于 pipes, sockets, directories, devices, 等等。
因此，使用 lsof，你可以获取任何被打开文件的各种信息，只需输入 lsof 就可以生成大量的信息，因为 lsof 需要访问核心内存和各种文件，所以必须以 root 用户的身份运行它才能够充分地发挥其功能。
适应条件：lsof访问的是核心文件和各种文件，所以必须以root用户的身份运行才能充分发挥其功能。
lsof /path/to/file 找出谁在使用某个文件
只需要执行文件的绝对路径，lsof就会列出所有使用这个文件的进程，你也可以列出多个文件，lsof会列出所有使用这些文件的进程。
lsof /home/hxapp/logs/onlApp/sys/ltts_slowSql.log
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 56255 hxapp 223w REG 253,0 40218 3418082 /home/hxapp/logs/onlApp/sys/ltts_slowSql.log
COMMAND ：进程名称
PID：进程标识符
USER：进程所有者
FD：文件描述符，应用程序通过文件描述符识别到该文件。如cwd、txt等
TYPE：文件类型，如DIR,REG
DEVICE：指定磁盘名称
SIZE：文件大小
NODE：索引节点（文件在磁盘上的标识）
NAME：打开文件的确切名称
补充：FD列中的文件描述cwd值表示应用程序的当前工作目录，这是该程序启动的目录，除非它本身对这个目录进行更改。txt类型的是程序代码，如应用程序二进制文件本身或者共享库。其次数值表示应用程序的文件描述符，这是打开文件时一个返回的一个整数。
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 22266 hxapp cwd DIR 253,0 4096 1046562 /home/hxapp/logs/jobSrv2/sys
java 22266 hxapp mem REG 253,0 96221 1308284 /home/hxapp/frw/lib/2.4.17-RELEASE/third/commons-pool-1.5.4.jar
java 22266 hxapp 0r CHR 1,3 0t0 1028 /dev/null
java 22266 hxapp 1u REG 253,0 37168 1046570 /home/hxapp/logs/jobSrv2/sys/ltts-app.out
java 22266 hxapp 2u REG 253,0 37168 1046570 /home/hxapp/logs/jobSrv2/sys/ltts-app.out
java 22266 hxapp 3w REG 253,0 592700 1050251 /home/hxapp/logs/jobSrv2/sys/gc-jobSrv2.log2023-12-04
bash 85671 hxapp 0u CHR 136,0 0t0 3 /dev/pts/0
bash 85671 hxapp 1u CHR 136,0 0t0 3 /dev/pts/0
bash 85671 hxapp 2u CHR 136,0 0t0 3 /dev/pts/0
java 22266 hxapp 241u IPv6 112696 0t0 TCP cbsuatapp1:62313->3.1.11.8:ncube-lm (ESTABLISHED)
java 22266 hxapp 242u IPv6 83345 0t0 TCP cbsuatapp1:62317->3.1.11.8:ncube-lm (ESTABLISHED)
lsof 86283 hxapp 4r FIFO 0,9 0t0 1914234 pipe
其中u表示该文件被打开处于读取\写入模式，而不是只读或只写模式；r 只读 ； w 只写 ；W表示该应用程序具有对整个文件的写锁（确保每次只能打开一次应用程序实例）。初始打开每个应用程序时，都具有三个文件描述符，从0到2，分别表示标准输入、输出和错误流。因此，大多数应用程序所打开的FD都是从3开始！
TYPE：REG、DIR、CHR、BLK、UNIX、FIFO、IPV
lsof -h 查看命令详解
lsof 列出所有打开的文件
不带任何参数运行lsof会列出所有进程打开的所有文件
lsof +D /usr/lib 递归查找某个目录中所有打开的文件
加上+D参数，lsof会对指定目录进行递归查找，注意这个参数要比grep版本慢：
lsof -u pkrumins 列出某个用户打开的所有文件
-u选项限定只列出所有被用户pkrumins打开的文件，你可以通过逗号指定多个用户
lsof -u gwds,esbagent
lsof -c apache 查找某个程序打开的所有文件
-c选项限定只列出以apache开头的进程打开的文件：
所以你可以不用像下面这样写：
lsof | grep foo
而使用下面这个更简短的版本：
lsof -c foo
事实上，你可以只制定进程名称的开头：
lsof -c apa
这会列出所有以apa开头的进程打开的文件
你同样可以制定多个-c参数：
lsof -c apache -c python
这会列出所有由apache和python打开的文件
lsof -u pkrumins -c apache 列出所有由某个用户
或
某个进程打开的文件
lsof -a -u pkrumins -c bash列出所有由一个用户与某个进程打开的文件
-a参数可以将多个选项的组合条件由或变为与，上面的命令会显示所有由pkrumins用户以及bash进程打开的文件
lsof -u ^root 列出
除root用户外
的所有用户打开的文件
lsof -p 1 列出所有由某个PID对应的进程打开的文件
-p选项让你可以使用进程id来过滤输出。记住你也可以用逗号来分离多个pid。
lsof -i 列出所有网络连接
lsof的-i选项可以列出所有打开了网络套接字（TCP和UDP）的进程
lsof -i tcp 列出所有TCP网络连接
也可以为-i选项加上参数，比如tcp、udp，tcp选项会强制lsof只列出打开TCP sockets的进程，同样udp让lsof只列出使用UDP socket的进程
lsof -i :25 找到使用某个端口的进程
:25和-i选项组合可以让lsof列出占用TCP或UDP的25端口的进程。
你也可以使用/etc/services中制定的端口名称来代替端口号，比如：
lsof -i :smtp
找到使用某个udp端口号的进程
lsof -i udp:53
同样的，也可以找到使用某个tcp端口的进程：
lsof -i tcp:80
lsof -a -u hacker -i 找到某个用户的所有网络连接
使用-a将-u和-i选项组合可以让lsof列出某个用户的所有网络行为
lsof -N 列出所有NFS（网络文件系统）文件
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
bash 71716 hxapp cwd DIR 0,42 4096 1576048 /aft_files/CBS/loan/ln_data/20231108 (3.1.12.154:/data2)
lsof -U 列出所有UNIX域Socket文件
lsof -g 1234 列出所有对应某个组id的进程
进程组用来来逻辑上对进程进行分组，这个例子查找所有PGID为1234的进程打开的文件。
lsof -d 2 列出所有与某个描述符关联的文件
这个命令会列出所有以描述符2打开的文件。
你也可以为描述符指定一个范围：
lsof -d 0-2
这会列出所有描述符为0，1，2的文件。
-d选项还支持其它很多特殊值，下面的命令列出所有内存映射文件：
lsof -d mem
txt则列出所有加载在内存中并正在执行的进程：
lsof -d txt
lsof -t -i 输出使用某些资源的进程pid
-t选项输出进程的PID，你可以将它和-i选项组合输出使用某个端口的进程的PID，下面的命令将会杀掉所有使用网络的进程：
kill -9 'lsof -t -i'
lsof -r 1 循环列出文件
-r选项让lsof可以循环列出文件直到被中断，参数1的意思是每秒钟重复打印一次，这个选项最好同某个范围比较小的查询组合使用，比如用来监测网络活动：
lsof -r 1 -u john -i -a
sysctl 命令介绍
# sysctl(选项)(参数)
## 获取某个变量
sysctl fs.file-max
## 设置某个变量
sysctl -w fs.file-max=655360
sysctl -w net.ipv4.ip_forward=1 #（布尔型用 1 来表示’yes’，用 0 来表示’no’）
-n：打印值时不打印关键字；
-e：忽略未知关键字错误；
-N：仅打印名称；
-w：当改变sysctl设置时使用此项；
-p：从配置文件“/etc/sysctl.conf”加载内核参数设置；
-a：打印当前所有可用的内核参数变量和值；
-A：以表格方式打印当前所有可用的内核参数变量和值。
配置sysctl
编辑此文件：/etc/sysctl.conf
执行：
sysctl -p
