高并发 Apache 异步 HTTP 客户端 IOReactor 问题

应用说明：

• 我正在使用由 Comsat 的 Quasar FiberHttpClient（版本 0.7.0）包装的 Apache HTTP 异步客户端（版本 4.1.1）来运行和执行高度并发的 Java 应用程序，该应用程序使用光纤在内部将 http 请求发送到多个 HTTP 端点
• 应用程序运行在 tomcat 之上（但是，纤程仅用于内部请求分派。tomcat servlet 请求仍然以标准阻塞方式处理）
• 每个外部请求内部打开15-20个Fiber，每个Fiber构建一个HTTP请求并使用FiberHttpClient来调度它
• 我正在使用 c44xlarge 服务器（16 核）来测试我的应用程序
• 我连接的端点会抢占保持活动连接，这意味着如果我尝试通过重新使用套接字来维护，连接会在请求执行尝试期间关闭。因此，我禁用连接回收。

• 根据上面的部分，这是我的光纤 http 客户端的调整（当然我使用的是单个实例）：

  PoolingNHttpClientConnectionManager connectionManager = 
  new PoolingNHttpClientConnectionManager(
      new DefaultConnectingIOReactor(
          IOReactorConfig.
              custom().
              setIoThreadCount(16).
              setSoKeepAlive(false).
              setSoLinger(0).
              setSoReuseAddress(false).
              setSelectInterval(10).
              build()
              )
      );
  
  connectionManager.setDefaultMaxPerRoute(32768);
  connectionManager.setMaxTotal(131072);
  FiberHttpClientBuilder fiberClientBuilder = FiberHttpClientBuilder.
          create().
          setDefaultRequestConfig(
                  RequestConfig.
                  custom().
                  setSocketTimeout(1500).
                  setConnectTimeout(1000).
                  build()
          ).
         setConnectionReuseStrategy(NoConnectionReuseStrategy.INSTANCE).
         setConnectionManager(connectionManager).
         build();
  

• 打开文件的 ulimit 设置得非常高（软值和硬值均为 131072）

• Eden设置为18GB，总堆大小为24GB
• 操作系统 Tcp 堆栈也经过了很好的调整：

内核.printk = 8 4 1 7 内核.printk_ratelimit_burst = 10 内核.printk_ratelimit = 5 net.ipv4.ip_local_port_range = 8192 65535 net.core.rmem_max = 16777216 网络核心.wmem_max = 16777216 net.core.rmem_default = 16777216 net.core.wmem_default = 16777216 net.core.optmem_max = 40960 net.ipv4.tcp_rmem = 4096 87380 16777216 net.ipv4.tcp_wmem = 4096 65536 16777216 net.core.netdev_max_backlog = 100000 net.ipv4.tcp_max_syn_backlog = 100000 net.ipv4.tcp_max_tw_buckets = 2000000 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_fin_timeout = 10 net.ipv4.tcp_slow_start_after_idle = 0 net.ipv4.tcp_sack = 0 net.ipv4.tcp_timestamps = 1

问题描述

• 在中低负载下一切正常，连接被租用、关闭并且池得到补充
• 超过某个并发点，IOReactor 线程（其中 16 个）似乎在死亡之前停止正常运行。
• 我编写了一个小线程来获取池统计信息并每秒打印它们。在大约 25K 租用连接时，不再通过套接字连接发送实际数据，Pendingstat clibms 也导致 30K 待处理连接请求激增
• 这种情况持续存在，基本上导致应用程序无用。在某些时候，I/O Reactor 线程会死掉，不确定何时，而且到目前为止我还无法捕获异常
• lsof运行java进程，我可以看到它有数以万计的文件描述符，几乎所有它们都处于CLOSE_WAIT状态（这是有道理的，因为I/O反应器线程死亡/停止运行并且永远不会真正关闭它们
• 在应用程序中断期间，服务器没有严重过载/CPU 压力

问题

• 我猜我正在某个地方达到某种边界，尽管我对它可能存在的内容或位置相当无能为力。除以下情况外
• 我是否有可能到达操作系统端口（毕竟所有应用请求都源自单个内部 IP）限制并创建一个错误，导致 IO Reactor 线程死亡（类似于打开文件限制错误）？

忘了回答这个问题，但我在发布问题后大约一周才知道发生了什么：

1. 存在某种错误配置，导致 io-reactor 仅生成 2 个线程。

2. 即使提供更多反应器线程后，问题仍然存在。事实证明，我们的传出请求大部分都是 SSL。 Apache SSL 连接处理将核心处理传播到 JVM 的 SSL 设施，这些设施的效率根本不足以每秒处理数千个 SSL 连接请求。更具体地说，SSLEngine 中的一些方法（如果我没记错的话）是同步的。在高负载下执行线程转储显示 IORecator 线程在尝试打开 SSL 连接时相互阻塞。

3. 即使尝试以连接租约超时的形式创建压力释放阀也不起作用，因为创建的积压量太大，导致应用程序无用。

4. 将 SSL 传出请求处理卸载到 nginx 的性能更差 - 因为远程端点会抢先终止请求，因此无法使用 SSL 客户端会话缓存（JVM 实现也是如此）。

最终在整个模块前面放置了一个信号量，在任何给定时刻将整个模块限制为 ~6000，这解决了问题。