程序员经验分享-hwhale

哈工大团队开源医学智能问诊大模型 | 华佗: 基于中文医学知识的LLaMa指令微调模型

2023-05-16

原文：

CVHub

门头沟学院AI视觉实验室御用公众号 | 学术 | 科研 | 就业

185篇原创内容

公众号

Title: HuaTuo: Tuning LLaMA Model with Chinese Medical Knowledge
PDF: https://arxiv.org/pdf/2304.06975v1.pdf
Code: https://github.com/scir-hi/huatuo-llama-med-chinese

导读

在生物医学领域，LLM模型（如LLaMa，ChatGLM）因为缺乏一定的医学专业知识语料而表现不佳。该项目通过医学知识图谱和GPT3.5API构建了中文医学指令数据集，并对LLaMa模型进行了指令微调得到了一个针对医学领域的智能问诊模型HuaTuo，相比于未经过医学数据指令微调的原LLaMa而言，HuaTuo模型在智能问诊层面表现出色，可生成一些更为可靠的医学知识回答；与此同时，基于相同医学数据，该项目还训练了医疗版本的ChatGLM模型: ChatGLM-6B-Med，

除了华佗模型，该团队还即将发布扁鹊模型PienChueh(同为基于医学数据训练的大模型)，欢迎大家届时使用体验。

引言

ChatGPT模型虽然表现出色，但毕竟不开源，开源社区已提供了许多平替方案，比如LLaMa等（7B，13B，30B，65B），其中7B具有70亿参数，训练成本最低，借助Colossal AI和Deep Speed大模型训练框架，也可以很好的平民化训练并针对性的用于解决特定业务场景下的问题。

不管是原始LLaMa，还是ChatGPT等其它大语言模型，它们在医疗领域的应用仍然存在一些问题。比如笔者前段时间问原始LLaMa，给它输入一段病情描述，让它输出病情诊断信息，它会给出一些非常简短且常规的回答，完全没回答到点子上；虽然在这一层面ChatGPT做的更好，回答的也更加详细，但更多的也是一些偏向于科普式的回答，并没有非常惊艳的效果。而经过专门医疗数据训练的Glass AI（链接：https://glass.health/ai）模型在智能诊断上表现极其出色，感兴趣的读者可自行注册体验（强烈推荐）。但由于Glass AI是一款已商业化的AI智能诊断模型，也并未开源。

由于医疗领域专业知识太多，而LLMs的一般领域知识往往无法满足这种专业化需求，如果直接用于智能诊断，极有可能导致诊断精度、药品推荐和医疗建议等方面的不准确性，甚至危及患者的生命。所以，将专业的医学领域知识，诊断案例数据输入到大模型进行专业化学习非常有必要。

目前，已经有一些方法尝试解决这个问题，但这些方法主要依赖于从人工交流中检索医学信息，容易出现人为错误。此外，LLMs通常只在英语语境下进行训练，这限制了它们在其他语言环境下的理解和响应能力，例如中文，因此它们在中国语境中的应用受到极大限制。

现有的方法主要采用ChatGPT进行数据辅助，将ChatGPT某一领域的知识有效蒸馏到较小的模型：比如Chatdoctor代表了将LLMs在生物医学领域的第一次尝试，通过调用ChatGPT API来生成一些医学语料数据并叠加一部分真实场景医患数据，来微调LLaMa；为了解决中文语境问题，DoctorGLM利用ChatGLM-6B作为基础模型，并用ChatDoctor数据集的中文翻译通过ChatGPT获取进行微调。这些模型出来的效果只能说还行，但距离真实落地还很远。毕竟通过未经过专门医学语料训练的ChatGPT获取的训练数据也是非常general的回答，对模型得不到质的提升。

本项目介绍了一种针对生物医学领域、专注于中文语言的LLM模型—HuaTuo（华驼）。为了保证模型在生物医学领域回答问题的准确性，研究人员通过从中文医学知识图谱CMeKG中提取相关的医学知识，生成多样的指令数据，以确保模型回答问题的事实正确性，并收集了超过8000条指令数据进行监督微调。该模型基于开源的LLaMa-7B基础模型，整合了CMeKG的结构化和非结构化医学知识，并利用基于知识的指令数据进行微调，使得模型具有较为丰富的医学领域专业知识，从而为智能诊断作出较为专业的回答。

HuaTuo Model

Base Model

LLaMA作为一个开源模型，具有7B到65B各个量级的模型；为了更快速高效的训练，作者采用LLaMA-7B作为HuaTuo的基础模型

Medical Knowledge

医学知识的种类包括：结构化医学知识和非结构化医学知识。结构化医学知识指的是医学知识图谱等形式化的知识，而非结构化医学知识则是如医学指南等的非形式化的知识。作者在这里使用了一个名为CMeKG的中文医学知识图谱，其中提供了关于疾病、药物、症状等的检索医学知识，目的是为了让大模型学习一些相关的专业医学知识。下表1展示了CMeKG知识库中的几个医学知识样例。

表1

Knowledge-based Instruction Data

instruct-tuning是一种有助于大模型在zero-shot场景下表现出令人满意性能的tuning微调技术，但这需要有足够丰富的instruct以指导大模型学会理解instruct命令，并作出反馈，当然我们也可以根据上述医学知识可生成一系列instruct-input-output模式的数据如下表2所示。然而，对于一种医学对话问诊的大语言模型，输入通常是以问题的形式进行陈述，所以在这里作者只保留input-output模式的数据来训练HuaTuo模型。

表2

在一般领域，生成的指令需要具备足够的多样性，以应对未知任务zero-shot；而在医学领域，则更加关注大型语言模型响应中的事实是否正确。因此，在本文中，研究者首先从知识图谱中随机选择一些医学知识实例，并利用OpenAI API 基于这些特定的知识生成一系列问诊对话的训练样本8,000条（数据见项目代码 Huatuo-Llama-Med-Chinese/data/）。如下表3所示

表3

实验设置

Baselines

为了对比HuaTuo和其它基础模型的性能，作者进行了与三个基础模型的比较分析：

  1. LLaMA 作为HuaTuo的基础模型，作者选择了原生LLaMA-7B作为基础模型比较对象。

  2. Alpaca 是LLaMA的一种instruct-tuning版本模型，拥有超过80,000个在通用领域中生成的训练样本。

  3. ChatGLM 是专门为中文聊天场景设计的大语言模型，在本文的分析中，作者将HuaTuo的性能与ChatGLM-6B进行了比较。

Metrics

自然语言生成领域中常用的评估指标是Bleu和Rouge，作者在医疗问答任务中引入了新评估指标SUS，分别代表：安全性、可用性和流畅性。其中，安全性维度评估生成的响应是否存在误导用户、对用户健康构成危险的潜在因素，例如错误的药物建议；可用性维度评估生成的响应是否反映了医疗专业知识；流畅性维度则评估生成模型作为语言模型的能力。

实验结果

在这项研究中，作者构建了一个中文对话场景的医疗问诊测试集，并将HuaTuo与其他三个基准模型进行了比较。为了评估模型性能，本项目招募了五名具有医学背景的专业医师，在SUS三个维度上评估模型的安全性、可用性和流畅性。SUS刻度从1（不可接受）到3（好），其中2表示可接受的响应。平均SUS得分如下表4所示。尽管LLaMA获得了最高的安全得分，但其响应常常缺乏信息且重述问题，导致可用性得分低。另一方面，HuaTuo模型显着提高了知识可用性，同时没有太多地牺牲安全性。

表4. HuaTuo与原始LLaMa，Alpaca，ChatGLM模型在SUS维度上的性能评估

往期回顾

【入门系列】万字长文带你入门计算机视觉

【入门系列】万字长文带你入门Transformer

【总结系列】目标检测20年

【总结系列】CVHub带你回顾GANs发展的8年

【工具系列】OOM？详解PyTorch显存高效利用

【工具系列】为什么你的显卡利用率总是0%？

【工具系列】2120年深度学习入门必备手册

【总结系列】一文看尽深度学习中的20种卷积

【总结系列】一文看尽深度学习中的生成对抗网络

【总结系列】一文看尽深度学习中的各种注意力机制

【总结系列】一文看尽深度学习中的各种池化方法

【总结系列】一文看尽深度学习中的各种损失函数

写在最后

如果您也对人工智能和计算机视觉全栈领域感兴趣，强烈推荐您关注有料、有趣、有爱的公众号『CVHub』，每日为大家带来精品原创、多领域、有深度的前沿科技论文解读及工业成熟解决方案！欢迎扫码与我交流，一起探讨更多有趣的话题！

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

哈工大团队开源医学智能问诊大模型 | 华佗: 基于中文医学知识的LLaMa指令微调模型 的相关文章

  • stm32G0 启动

    目的 STM32G是意法半导体这两年新推出的系列芯片 xff0c 相比原先的F系列的芯片有很多提升点 xff0c 将来必将取代F系列芯片的地位 对于新芯片的应用来说能够正确下载与运行程序是比较重要的一点 xff0c 这篇文章将对 STM32

  • 【scikit-learn】交叉验证及其用于参数选择、模型选择、特征选择的例子

    xfeff xfeff 内容概要 训练集 测试集分割用于模型验证的缺点K折交叉验证是如何克服之前的不足交叉验证如何用于选择调节参数 选择模型 选择特征改善交叉验证 1 模型验证回顾 进行模型验证的一个重要目的是要选出一个最合适的模型 xff

  • 【scikit-learn】网格搜索来进行高效的参数调优

    xfeff xfeff 内容概要 如何使用K折交叉验证来搜索最优调节参数如何让搜索参数的流程更加高效如何一次性的搜索多个调节参数在进行真正的预测之前 xff0c 如何对调节参数进行处理如何削减该过程的计算代价 1 K折交叉验证回顾 交叉验证

  • 【scikit-learn】评估分类器性能的度量，像混淆矩阵、ROC、AUC等

    xfeff xfeff 内容概要 模型评估的目的及一般评估流程分类准确率的用处及其限制混淆矩阵 xff08 confusion matrix xff09 是如何表示一个分类器的性能混淆矩阵中的度量是如何计算的通过改变分类阈值来调整分类器性能

  • 【Scala-ML】使用Scala构建机器学习工作流

    引言 在这一小节中 xff0c 我将介绍基于数据 xff08 函数式 xff09 的方法来构建数据应用 这里会介绍monadic设计来创建动态工作流 xff0c 利用依赖注入这样的高级函数式特性来构建轻便的计算工作流 建模过程 在统计学和概

  • 【Scala】响应式编程思想

    何为响应式编程 响应式编程是一种面向数据流和变化传播的编程范式 xff0c 数据更新是相关联的 这意味着可以在编程语言中很方便地表达静态或动态的数据流 xff0c 而相关的计算模型会自动将变化的值通过数据流进行传播 以响应式编程方式进行思考

  • 【函数式】纯函数与替代模型

    纯函数 一个函数在程序执行的过程中除了根据输入参数给出运算结果之外没有其他的副作用影响 xff0c 我们可以把这类函数称为 纯函数 纯函数由于不依赖外部变量 xff0c 使得给定函数输入其返回结果永远不变 xff0c 比如整数的加法函数 x

  • C/C++ 常用程序库

    C C 43 43 程序库 https zhuanlan zhihu com p 98056565 来几个不常见但是很变态的库吧 bundle 把几乎所有常见的压缩库封装成了一个库 接口完全统一 想用哪个用哪个 就一个h和一个巨TM大的cp

  • git 提交的时候报错：error: 'flutter_app/' does not have a commit checked out

    如果有朋友遇到这个问题 xff0c 请不用担心 xff0c 因为这个问题非常简单 xff01 出现的情况就是 xff0c 你在一个github仓库里面 xff0c 放进来一个文件夹 xff0c 但是文件夹里面还有文件夹 xff0c 而且还没

  • Fragment中使用viewLifecycleOwner/getActivity/this

    观察liveData使用生命周期 如图 xff1a 当liveData想在fragment里观察的时候 xff0c 可以使用getActivity this getViewLifecycleOwner getActivity不必说 xff0

  • Android的FileProvider使用解释

    前言 从Android7 0 xff08 N xff09 开始 xff0c 严格执行 StrictMode 模式 xff0c 也就是说 xff0c 将对安全做更严格的校验 不允许在 App 间 xff0c 使用 file 的方式 xff0c

  • STM32G0 串口编程

    利用USB转串口调试 xff0c 烧写单片机程序 1 打开STM32 CubeProgrammer软件设置启动配置 2 让程序从system Flash启动 xff08 1 xff09 勾选 DTR 勾选RTS 取消勾选RTS 2 取消勾选

  • Android使用SystemProperties基础了解

    安卓系统属性是以键值对的形式存在 xff0c 一般放在system prop xff0c build prop xff0c default prop等文件中 这些属性可能是进程状态 xff0c 资源使用情况 xff0c 系统特有属性等等 创

  • 使用Android Studio打包Module成jar包

    现在假设我们想打包一个module成jar包的形式给其它应用调用 xff1a vrservice 1 0 jar 步骤1 在Module项目的build gradle文件中做如下配置 xff1a 生成jar包的配置如下 xff1a def

  • C++无符号整型与有符号整型变量的运算-不简单

    示例分析 xff1a include lt iostream gt include lt stdio h gt struct Result char c char d unsigned char e Result getChar int x

  • C++虚继承下的类大小

    前言 带有虚函数的虚继承的对象模型比较复杂 xff0c 所以单独整理一下 其实关于计算类大小是C 43 43 的一大易错点之一 即便是我在这儿理了半天 xff0c 也不一定就是正确的 xff0c 如果大佬看到本文 xff0c 发现我很多错误

  • 解决android的跑马灯频繁刷新的问题

    先贴一下跑马灯效果的代码 xff0c 这里我是继承的TextView xff1a public class MarqueeTextView extends AppCompatTextView public MarqueeTextView C

  • 关于第一次将STM32与电脑连接情况

    安装了Keil xff08 ARM xff09 版本之后 xff0c 不管是自己编程 xff0c 还是配套的程序运行 我们都想把它下载到STM32芯片里面 xff0c 在板子上运行 这里介绍几种方法 1 用J LINK下载调试 这个工具 x

  • [java语言]——InetAddress类的getByName()方法

    InetAddress 表示互联网协议 xff08 IP xff09 地址 InetAddress getByName 34 www 163 com 34 在给定主机名的情况下确定主机的IP地址 如果参数为null 获得的是本机的IP地址

  • Java中Calendar.DAY_OF_WEEK、DAY_OF_MONTH需要减一的原因

    Java中对日期的处理需要用到Calendar类 xff0c 其中有几个方法在使用时需要新手注意 1 在获取月份时 xff0c Calendar MONTH 43 1 的原因 xff08 Java中Calendar MONTH返回的数值其实

随机推荐

  • C语言学习笔记（三）(头文件的结构顺序)（类型不完整的解决方法）

    目录 前言原则结构推荐结构图方便的结构 类型不完整的原因和解决方法 xff1a 定义了不定长数组结构体的定义放在了头文件里面解决方法1 xff08 当采用使用时包含特定头文件时 xff09 xff1a 解决方法2 xff08 当一个头文件包

  • S2

    int count 61 0 double lat 61 55 8241 double lng 61 137 8347 double radius 61 900 半径 double capHeight 61 2 S2 M PI radius

  • 从STM32F407到AT32F407(一）

    雅特力公司的MCU有着性能超群 xff0c 价格优越的巨大优势 xff0c 缺点是相关资料少一些 xff0c 我们可以充分利用ST的现有资源来开发它 我用雅特力的STM32F437开发板 xff0c 使用原子 stm32f407的开发板自带

  • vue-java分离

    import com google gson Gson import io renren common utils HttpContextUtils import io renren common utils R import org ap

  • java学习

    莫求全 有效努力 定时出结果 架构设计DDD 微服务介绍 https www kancloud cn qingshou aaa1 2667225 https www cnblogs com chencan p 16042197 html h

  • CentOS6.5添加虚拟IP（VIP）

    使用keepalived 实现Nginx高可用时 需要用到这项技术 虚拟ip在高可用中的作用后续再说 今天看看怎么给服务器配置虚拟IP xff0c 其实也就是多分配个IP地址 首先查看一下现有网卡的IP地址 xff0c 用root特权运行下

  • 微服务Spring Cloud例子

    Spring Cloud简介 Spring Cloud是一个基于Spring Boot实现的云应用开发工具 xff0c 为开发者提供了在分布式系统 xff08 配置管理 xff0c 服务发现 xff0c 熔断 xff0c 路由 xff0c

  • 美邦威集成呼吸墙饰

    http www mbwqs cn 湖北光大新型环保装饰材料有限公司 美邦威集成呼吸墙饰 生产销售中心 xff1a 湖北汉川经济开发区光大工业园 光大材料 210590 上海股交所挂牌

  • activemq--MASTER SLAVE+BROKER CLUSTER 实践(二)

    鱼与熊掌兼得法 完美解决方案 我们知道 xff1a master slave模式下 xff0c 消息会被逐个复制而cluster模式下 xff0c 请求会被自动派发 那么可不可以把两者集成起来呢 xff1f 答案是有的 xff0c 网上所谓

  • Dubbo超时和重连机制

    dubbo启动时默认有重试机制和超时机制 超时机制的规则是如果在一定的时间内 xff0c provider没有返回 xff0c 则认为本次调用失败 xff0c 重试机制在出现调用失败时 xff0c 会再次调用 如果在配置的调用次数内都失败

  • Sharding-JDBC简介

    一般 xff0c 线上系统的业务量不是很大 xff0c 比如说单库的数据量在百万级别以下 xff0c 那么MySQL的单库即可完成任何增 删 改 查的业务操作 随着业务的发展 xff0c 单个DB中保存的数据量 xff08 用户 订单 计费

  • 1024

    听说今天发帖能有1024勋章 xff1f

  • 神奇！明明是 socket，被我玩成了 http！

    颓废青年 xff0c 快出来挨打 xff01 点击上方 Java极客技术 xff0c 选择 设为星标 后台回复 java xff0c 获取Java知识体系 面试必看资料 资料会持续更新 xff0c 已更新第四次 xff01 文章精品专栏 记

  • python画图程序

    usr bin python coding utf 8 import wx import wx lib buttons as buttons import wx adv as adv import wx lib colourselect a

  • 升级到tensorflow2.0，我整个人都不好了

    版本升级到 tensorflow 2 0 的悲惨经历 没事别升级 Tensorflow 2 0发布已经有一段时间了 xff0c 各种基于新API的教程看上去的确简单易用 xff0c 一个简单的mnist手写识别只需要下面不到20行代码就OK

  • 修改conda环境和缓存默认路径

    默认情况下 xff0c conda 创建的新环境 以及过往安装的模块缓存都存储在用户目录下 xff0c 这一点不会在 conda xff08 user specific xff09 配置文件 HOME condarc 中体现出来 xff0c

  • 融合人体姿态估计和目标检测的学生课堂行为识别

    融合人体姿态估计和目标检测的学生课堂行为识别 参考网 摘要 xff1a 在課堂教学中 xff0c 人工智能技术可以帮助实现学生行为分析自动化 xff0c 让教师能够高效且直观地掌握学生学习行为投入的情况 xff0c 为后续优化教学设计与实施

  • Python实例详解pdfplumber读取PDF写入Excel

    一 Python操作PDF 13大库对比 PDF xff08 Portable Document Format xff09 是一种便携文档格式 xff0c 便于跨操作系统传播文档 PDF文档遵循标准格式 xff0c 因此存在很多可以操作PD

  • 如何使用ChatGPT API训练自定义知识库AI聊天机器人

    原文 xff1a 如何使用ChatGPT API训练自定义知识库AI聊天机器人 闪电博 在我们之前的文章中 xff0c 我们演示了如何用ChatGPT API建立一个AI聊天机器人 xff0c 并指定一个角色来进行个性化处理 但如果你想在自

  • 哈工大团队开源医学智能问诊大模型 | 华佗: 基于中文医学知识的LLaMa指令微调模型

    原文 xff1a CVHub 门头沟学院AI视觉实验室御用公众号 学术 科研 就业 185篇原创内容 公众号 Title HuaTuo Tuning LLaMA Model with Chinese Medical Knowledge PD

热门标签