几种常见数据库连接池的使用比较

2023-11-02

笔者曾经主持以及经历的几个产品及项目中,包括了各种数据库及应用服务器,基本上几种常见的数据库连接池都用到了,根据使用的情况把这些连接池比较一下吧。

感觉在介绍之前有必要阐述一下连接池的几个概念,有助于后边一些文字的理解。

最原始的数据库使用就是打开一个连接并进行使用,使用过后一定要关闭连接释放资源。由于频繁的打开和关闭连接对jvm包括数据库
都有一定的资源负荷,尤其应用压力较大时资源占用比较多容易产生性能问题。由此使用连接池的作用就显现出来,他的原理其实不复杂:
先打开一定数量的数据库连接,当使用的时候分配给调用者,调用完毕后返回给连接池,注意返回给连接池后这些连接并不会关闭,而是
准备给下一个调用者进行分配。由此可以看出连接池节省了大量的数据库连接打开和关闭的动作,对系统性能提升的益处不言而喻。
几个概念:
最小连接--应用启动后随即打开的连接数以及后续最小维持的连接数。
最大连接数--应用能够使用的最多的连接数
连接增长数--应用每次新打开的连接个数
举个例子说明连接池的运作:
假设设置了最小和最大的连接为10,20,那么应用一旦启动则首先打开10个数据库连接,但注意此时数据库连接池的正在使用数字为0--因为你并没有使用这些连接,而空闲的数量则是10。然后你开始登录,假设登录代码使用了一个连接进行查询,那么此时数据库连接池的正在使用数字为1、空闲数为9,这并不需要从数据库打开连接--因为连接池已经准备好了10个给你留着呢。登录结束了,当前连接池的连接数量是多少?当然是0,因为那个连接随着事务的结束已经返还给连接池了。然后同时有11个人在同一秒进行登录,会发生什么:连接池从数据库新申请(打开)了一个连接,连同另外的10个一并送出,这个瞬间连接池的使用数是11个,不过没关系正常情况下过一会儿又会变成0。如果同时有21个人登录呢?那第21个人就只能等前面的某个人登录完毕后释放连接给他。这时连接池开启了20个数据库连接--虽然很可能正在使用数量的已经降为0,那么20个连接会一直保持吗?当然不,连接池会在一定时间内关闭一定量的连接还给数据库,在这个例子里数字是20-10=10,因为只需要保持最小连接数就好了,而这个时间周期也是连接池里配置的。

好了,基本概念说完了,言归正传进行比较了。
首先说明的一点,为了应用便于移植以及可配置的角度,建议还是使用jndi统一进行连接池的配置。怎么配置其实网上都有很多例子,
这里简单举个例子(使用spring框架):
首先在应用的上下文定义中配置jndi名称,如一个resource.xml文件,里边的写法
    <bean id="dataSource" class="org.springframework.jndi.JndiObjectFactoryBean">
        <property name="jndiName"><value>jdbc/myapp</value></property>
    </bean>
注意dataSource这个bean在dao层(hibernate或jdbc)的配置文件里需要作为dataSource名称的属性配置到所有bean中
其中“jdbc/myds”这个就是jndi名称了,下一步就是在应用服务器连接池里进行数据库连接以及对应的jndi配置了

一 开源数据连接池
1 dbcp
dbcp可能是使用最多的开源连接池,原因大概是因为配置方便,而且很多开源和tomcat应用例子都是使用的这个连接池吧。
这个连接池可以设置最大和最小连接,连接等待时间等,基本功能都有。这个连接池的配置参见附件压缩包中的:dbcp.xml
使用评价:在具体项目应用中,发现此连接池的持续运行的稳定性还是可以,不过速度稍慢,在大并发量的压力下稳定性
有所下降,此外不提供连接池监控

2 c3p0
c3p0是另外一个开源的连接池,在业界也是比较有名的,这个连接池可以设置最大和最小连接,连接等待时间等,基本功能都有。
这个连接池的配置参见附件压缩包中的:c3p0.xml。
使用评价:在具体项目应用中,发现此连接池的持续运行的稳定性相当不错,在大并发量的压力下稳定性也有一定保证,
          此外不提供连接池监控。
          
3 proxool
proxool这个连接池可能用到的人比较少,但也有一定知名度,这个连接池可以设置最大和最小连接,连接等待时间等,基本功能都有。
这个连接池的配置参见附件压缩包中的:proxool.xml。
使用评价:在具体项目应用中,发现此连接池的持续运行的稳定性有一定问题,有一个需要长时间跑批的任务场景任务,同样的代码
在另外2个开源连接池中成功结束,但在proxool中出现异常退出。
但是proxool有一个优势--连接池监控,这是个很诱人的东西,大概的配置方式就是在web.xml中添加如下定义:
    <servlet>
        <servlet-name>admin</servlet-name>
        <servlet-class>org.logicalcobwebs.proxool.admin.servlet.AdminServlet</servlet-class>      
   </servlet>
   <servlet-mapping>
      <servlet-name>admin</servlet-name>
      <url-pattern>/admin</url-pattern>
   </servlet-mapping>   
并在应用启动后访问:http://localhost:8080/myapp/admin这个url即可监控 
不过proxool本身的包在监测使用中会有编码问题,附件中有一个
解决此问题的包,参见附件压缩包中的:proxool-0.9.0RC3.jar。另外需要jdk1.5以上的环境。

总结时刻:
综上所述,这几种开源连接池各有优劣,推荐使用c3p0,经检验这种连接池性能稳定,承压能力强。而proxool尽管有明显的性能问题,
但由于它具备监控功能,因此建议在开发测试时使用,有助于确定是否有连接没有被关掉,可以排除一些代码的性能问题。

二 商业中间件连接池
上面列举了几种开源的连接池,其实可以肯定的说,如果条件允许使用weblogic和websphere等中间件,那么不要犹豫,一定要
使用这些商业级别的中间件所自带的数据库连接池,他们的性能以及调配和开源的不在一个量级,举个例子,曾经有一个项目,数据量比较大,同样的代码应用,在3种开源的连接池里都多少出现过系统异常,而weblogic和websphere的连接池则正常运行,当然后来发现代码有一定瑕疵,但也侧面说明了商业连接池的强大。

1 weblogic的连接池
weblogic 8 是一个让人使用起来很轻松方便的应用服务器软件,但是到了9简直就是折磨,不知道是bea是怎么想的,oracle收购了bea以后出了10,比9强不少,但是最喜欢的还是8。。。
题外话不说了,就以8.1版本介绍一下他的数据库连接池(其实10的配置也差不多)
首先是连接池的基本设置,这个不讲了,网上有很多教程。然后进入Data Sources菜单配置数据源里边的JNDI Name,要和之前在应用配置中的一致:jdbc/myapp。
然后是连接池一些具体项目的配置,包括设置最小(Initial Capacity),最大( Maximum Capacity)连接,以及
每次连接增加时需要一次性增加多少连接(Capacity Increment)。Allow Shrinking(是否把不用的连接退还数据库以保持最小连接数--这个就可以参见之前的连接池阐述的例子进行理解了)。
另外还有几个有意思的选项Test Reserved Connections:对取得的连接进行测试,Test Released Connections:对释放的连接进行测试。有人会问了,这个有什么用啊?
不知道大家在项目中有没有遇到java报连接失效的异常,反正我碰到过,只有在系统压力大的时候才出现。而有了这个选项就不用担心这个问题了--因为连接池已经帮你测试了,一旦检查到连接是无效的他会废弃掉还给数据库,只给你有效的。不过这个连接失效的异常其实多半是应用的不严谨造成的,我们更因该关心应代码的问题--但起码weblogic想到帮你弥补一下,是不是很贴心:)
另外一个重要功能当然是连接池监控:monitor选项卡里可以看到使用情况,有人又要问了,没有什么指标啊,别忘了custom view这个功能链接哦:)
有以下指标:当前连接数、曾经达到的峰值、可以使用的连接数、等待的连接数、从数据库打开的连接数、曾经关闭的连接数。。。其中前3项是我最关注的

使用评价:在具体项目应用中,此连接池的持续运行的稳定性很强,在大并发量的压力下性能也相当优秀,另外在一些异常情况下连接池里的连接也能够及时释放。
          连接池监控一目了然,及时到位。         

2 websphere的连接池
还是先来段题外话:记得有人说过,websphere只有版本6以后才算是websphere,个人很赞同。websphere 5以及以前的版本。。。还是忘了吧。
其实websphere的连接池秉承ibm一贯的风格:功能强大,使用复杂:)
进入控制台使用“JDBC提供程序”功能菜单进行连接池的基本配置,一路下来,不同的数据库配置方式不尽相同,最奇怪的是还要单独手工加上user和password参数,如果没有
资料指导的话还真是摸不着头脑。这些基本设置还是网上找吧很多的。连接池设置完还需要设置数据源,jndi名字一样与之前的对应:jdbc/myapp
高级设置包括初始化连接数,最大连接,连接有效性检查,不使用超时。。其实这些都和weblogic中的连接池配置大致一样。
连接池监控:使用运行监控菜单,里边会有一个监控项目选择,选jdbc监控即可,可恶的是一开始弹出什么服务器操作系统需要安装什么图形化控件,选择是那么就得去找到控件在操作系统(linux)下安装,然后很多的依赖组件都没有。。。搞了半天才发现选择否,监控数据以及图形一样能出来嘛,真是要怒了。
虽然经过一番波折但是监控的内容还是很强大的,就连接池来说一样包括当前连接数、曾经达到的峰值、可以使用的连接数、从数据库打开的连接数、曾经关闭的连接数。。。其中前3项是我最关注的,比较奇怪的现象是应用刚启动的时候已开启的连接数量竟然没有达到初始定义的连接数量,不清楚websphere是怎么个计算机制。
另外在压力大的时候可使用的连接数会是负数,当时很奇怪,想想也了然了,那个负数肯定是排队等待的数量了

使用评价:在具体项目应用中,此连接池的持续运行的稳定性相当强,在大并发量的压力下性能也足够优秀,另外在一些异常情况下连接池里的连接能够及时释放,
          连接池监控配置有些复杂,但是配置好后各项指标一目了然并且有图形显示 
          
总结时刻:
这两种商业级别的连接池都给我留下深刻印象,功能强大,使用稳定,性能优秀,监控到位。可以说难分伯仲,相对而言weblogic的连接池使用配置和监控配置更简单明了,而websphere的更复杂但选项功能也更多一些。其实这正是对两种应用服务器的使用印象的直接反映,当然总体比较2种应用服务器应该又是另一个话题了,也许在下一期的内容里。。。

比较了多种连接池的优劣,下面这个话题可能和比较本身没有直接关系,但个人认为应该是更有价值的一些经验分享吧,那就是---这么多指标配置,那些最大和最小连接数以及其他一些必要的配置指标,在一个正式的生产项目中到底应该配置什么值呢?
其实这个值首先还是要根据具体的项目情况、数据规模以及并发数来制定的(尽管像是套话,但是我们研发人员严谨的作风还是必要的:)。具体而言在中型偏小型的项目--给个数值把,用户数300到3000,数据量100万到1亿---中,建议weblogic设置为最大和最小都是200,websphere最小200最大300,前提是2者设置的最小内存要在1G以上,当然如果条件允许内存越大越好,不过32位机内存1.5G的限制是一定的(64位嘛我愿意设个4G内存过来,速度提升的感觉很爽啊)。这个数字出来以后相信会有不少问题要抛过来,我一一谈一下自己的体验和想法吧
1 为什么是200或300而不是更高?
回答: 再分配多了效果也不大了,一个是应用服务器维持这个连接数需要内存支持,刚才说了32位的机器只能支持到1.5G,并且维护大量的连接进行分配使用对cpu也是一个不小的负荷,因此不宜太大。
2 为什么不小一点?
回答:   如果太小,那么在上述规模项目的并发量以及数据量上来以后会造成排队现象,系统会变慢,数据库连接会经常打开和关闭,性能上有压力,用户体验也不好。
3 为什么weblogic最小最大都一样,而websphere不一样
回答:   其实和分配内存的最小最大值的情况一样,一般都推荐2个值应该一致,都放在内存里就好了嘛。但是ibm官方推荐2个值要有区别---官方说法还是要听的
4 其他开源连接池的分配方案还没说呢?
回答: 开源的个人认为到100就可以了,再高他也不会太稳定,当然1G的最小内存是一定要给tomcat分的
5 还有其他的指标吗?
回答: 当然还有一些,但个人认为剩下的具体情况具体分析了不在这里一一列举了,大家有兴趣可以和我讨论分享一下。

林林总总说了不少希望对大家有帮助,这些比较分析和数据都具备实际应用支撑。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

几种常见数据库连接池的使用比较 的相关文章

随机推荐

  • [CentOS6.5]cmake: command not found

    yum install y cmake
  • 如何使用Python进行数据挖掘?

    使用Python进行数据挖掘需要掌握以下几个关键步骤 数据收集 首先 你需要获取你要进行数据挖掘的数据 可以从公共数据集 API 数据库等各种来源收集数据 数据清洗 清洗数据是一个重要的步骤 它包括去除重复数据 处理缺失值 处理异常值 标准
  • 2020-11-30

    嵌入式MQTT库移植 基于mosquitto库 一 交叉编译OpenSSL 下载源码到Linux虚拟机环境 https www openssl org source openssl 1 1 1f tar gz 放入非windows共享文件夹
  • UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 的解决方法

    最近初学网络爬虫 今天在练习使用Python的request模块的时候遇到了一个错误 import requests 发送请求 response requests get https jingyan baidu com event img
  • input获取值时,页面数据value并未改为键入值,导致校验时数据不一致问题处理

    由于部分原因 系统现需要将数据进行动态处理 实现表头自定义 产生问题的背景不做介绍 现做此记录 方便后面查阅 问题描述 修改了input框的值 但实际value并未改变 如下可以看到下图右边值已经改为了500 但是进行调试时发现依旧是页面初
  • python UI自动化无界面运行

    python大家都知道可以使用selenium进行在Windows环境下运行 但每次都会进行弹框运行 但有时我们需要脚本在Linux环境进行运行或者不希望UI自动化频繁的弹框影响我们的操作 所有我们可以在编写UI自动化的时候选择有界面运行
  • echart--柱状图 从上到下排列 不居中

    遇到问题 echart的柱状图 我需要长这样 但是变成了下面那个图的样子 原因 1 x轴的对其方向不对 2 y轴的数据默认高度是auto 设置一个定死的值就行 3 y轴的对其方向不对 解决方案 在对应位置加上框里的参数
  • CPU interactive调频策略

    本文集中于interactive调频策略 内核可选的调频策略 读取可用的调频管理策略 sys devices system cpu cpufreq cpu0 cpufreq scaling available governors 调频策略通
  • python -m pip install --upgrade pip 报错

    具体问题 环境 windows python3 6 根据pip 的提示 WARNING You are using pip version 19 3 1 however version 20 0 2 is available You sho
  • 【LeetCode与《代码随想录》】双指针篇:做题笔记与总结-JavaScript版

    文章目录 代码随想录 主要题目 27 移除元素 344 反转字符串 剑指Offer 05 替换空格 151 翻转字符串里的单词 206 反转链表 24 两两交换链表中的节点 19 删除链表的倒数第 N 个结点 面试题 02 07 链表相交
  • 服务商面盯行业大佬新动向站在巨人肩膀上

    刷脸支付是以往的支付方式的巨大变革 可能会带来支付链条的变化以及交易场景的改变 从而引发第三方支付革命 其次一些新概念有助于刺激消费体验 同时可以提高企业品牌影响力 这些都是使用刷脸支付的有利之处 对于商户而言 刷脸支付增加广告曝光程度因为
  • 基于已搭建的项目完成用户管理模块

    一 创建所需数据库并添加记录 二 将资料中的所需页面内容加载到项目当中的webapp目录下 三 在各包中创建相关的类及接口 1 实体类创建 UserInfo 实体类 映射数据库字段 字段建议一致 2 在dao层接口定义用户管理模块的增删改查
  • matlab不同数据类型的读取(加载)和保存(写入)策略

    本文侧重于提供保存和读取最佳策略 分析适用场景 matlab的具体语法可以通过doc或help查询详细文档及示例 持续更新中 cell 矩阵 等不同数据类型的matlab内部读取和python交互读取策略 matlab内部读取 通用读写函数
  • 决策树(信息熵、信息增溢、GINI)的计算

    如何构建决策树 我需要选择什么属性来度量 这里我们需要通过计算才能更好的构建一棵决策树 有以下二分类问题训练样本 outlook temperat humidity windy play sunny hot high FALSE no su
  • 错误: 尝试打开文件xxxx-1.0-SNAPSHOT.jar时出现意外错误

    错误 尝试打开文件xxxx 1 0 SNAPSHOT jar时出现意外错误 解决方法 1 请看 395条消息 Linux jar报错处理 Exception in thread main java lang No Error Invalid
  • 牛客网输入输出练习(python/C++)

    牛客网输入输出练习 ACM模式 python c 1 A B 输入无行数 python解答 c 解答 2 A B 给定行数的输入 python解答 c 解答 3 A B 指定条件结束 python解答 c 解答 4 A B 给定长度的数组求
  • 2017年学习计划

    1 掌握一个画项目结构图的工具 2 熟练掌握c c 语言 3 完成HomeLife的开发 4 掌握linux的基本使用
  • ubuntu: 查看CPU信息

    cat proc cpuinfo 如果有多块CPU 就会一并显示出来
  • 单片机IO模拟串口协议

    一 前言 嵌入式硬件平台调试中常用的debug方法是看串口打印定位问题 但有时候会遇到单片机没有串口外设或者串口引脚被占用的情况 这时候也可以在代码里操作空闲的IO输出不同个数的脉冲来达到调试的效果 但是要用逻辑分析仪抓线逐个看波形比较费劲
  • 几种常见数据库连接池的使用比较

    笔者曾经主持以及经历的几个产品及项目中 包括了各种数据库及应用服务器 基本上几种常见的数据库连接池都用到了 根据使用的情况把这些连接池比较一下吧 感觉在介绍之前有必要阐述一下连接池的几个概念 有助于后边一些文字的理解 最原始的数据库使用就是