四川大学华西医院疾病系统遗传研究院沈百荣教授团队于2024年11月在Drugs上发表文章“Aligning Large Language
Models with Humans: A Comprehensive Survey of ChatGPT's Aptitude in
Pharmacology”（点击二维码阅读原文）。针对药理学的复杂性，研究创新性的构建了
“Pharmacology-LLM-test-set”
数据集，对LLMs的评估不仅证实了LLMs在药理学的潜力，而且突出了RAG策略可改善LLMs普遍存在的知识幻觉问题。
2023年是人工智能历史上具有里程碑意义的一年。除了ChatGPT等大语言模型的诞生，人工智能的两项重要突破——AlphaFold（Nature,
2020；Nature, 2021；Nature, 2024）和神经网络（Nature,
1986）分别荣获了2024年的诺贝尔化学奖和物理学奖。在药理学领域，也开发出了DrugChat、DrugGPT、Mol-Instructions和DeepEIK等大语言模型。这些药理学模型在解读药物结构-活性关系、优化先导化合物结构以及辅助药物重定位等药理学研究领域展现了巨大的潜力。然而，批评者认为药理学是一个高度复杂的领域，应用大语言模型（LLM）时应谨慎，尤其是在面对事实幻觉、知识幻觉和答案随机性等问题时。因此，构建一个多学科、多用途且复杂的药理学LLM测试集具有重要的价值，并将具备临床应用潜力。
针对通用大语言模型和药理学大语言模型大量出现带来的药理学测试集的新需求，本研究提出了一种基于药理学的大语言模型测试集，命名为“Pharmacology-LLM-test-set”，该测试集包括三个任务：基础药理学知识查询、先导化合物结构优化以及药理学研究趋势的总结与推理（图1a）。随后，基于通用大语言模型GPT-3.5和GPT-4，我们对“Pharmacology-LLM-test-set”进行了评估，评估发现这些模型在药理学相关查询中展现了显著的潜力。然而，它们也面临知识幻觉、专业性不足和系统性总结的随机性等挑战（图1b）。最后，为解决知识幻觉、专业性不足和随机性等问题，我们尝试通过检索增强生成（RAG）技术、集成知识库或知识图谱增强的药理学专用大语言模型，可能是解决这些问题的潜在方案（图1c
和图1d）。
图1 “基于药理学任务基准的大语言模型（LLMs）与人类语言对齐研究” 论文设计与流程
为了满足药理学家在查询药理学知识和优化方案方面的综合需求，我们在充分调研的基础上，由多名兼具药理学、生物信息学、化学信息学等组成的核心团队构建了“Pharmacology-LLM-test-set”，该测试集包括三类查询任务中的11个子类别。随后，基于Zero-shot和RAG模式，我们对LLM在药理学大型模型测试集上的表现进行了评估。
数据表明，通用大语言模型ChatGPT能够更好地理解药理学中的信息检索、方案优化和趋势总结等指令，在基础药理学任务中展现出显著的潜力，特别是在探索药物药理学属性、药代动力学、作用机制、毒性预测、药理学趋势总结等（图2）。但是，当用于药物相互作用信息检索、先导化合物优化等任务时，ChatGPT的局限性变得明显，进一步的RAG模式显示，RAG
可显著改善ChatGPT用于先导化合物优化任务时候的知识幻觉问题（图3）。
图2 基于Pharmacology-LLM-test-set 基准药理学测试集的通用大语言模型（ChatGPT）表现评估
图3 RAG模式下LLMs的表现评估
专家点评
宋相容研究员：沈百荣团队在国际著名药理学杂志《Drugs》上发表了题为“Aligning
Large Language Models with Humans: A Comprehensive Survey of ChatGPT's
Aptitude in
Pharmacology”的论文，该论文通过构建药理学基准测试数据集、Zero-shot模式和RAG模式下大语言模型表现评估，系统地探索了大型语言模型（LLM）在药理学领域中应用潜力和价值。总体而言，沈百荣团队的研究在药理学与人工智能交叉领域取得了显著的进展。所构建的测试集和优化方法为未来药理学大语言模型的研究提供了宝贵的资源和参考。研究成果不仅具有理论上的创新性，更具备实际应用的潜力，能够为药物研发和临床应用提供有力支持。此外，研究的顺利发表促进并推动药理学与人工智能的深度融合，为提升大语言模型的药物研发效率和优化临床治疗方案贡献力量。
宋相容，博士，研究员，博导，四川大学华西医院生物治疗全国重点实验室。入选国家级青年人才（2022）、国家重点研发计划首席科学家（2023）等。现为国家科技部/工信部专家、国家自然科学基金/教育部评审专家，Sig Transduct Target Ther、Nat Rev Drug
Discov 等编委；同时，获任中国药学会核酸药物分会委员、中国医药生物技术协会纳米生物技术分会委员等。研究方向为：基于高端制剂的创新药物研发，主持国家重点研发计划(1项)、国家科技重大专项(2项)、国家自然科学基金(2项)等课题30余项，在Nature、Nat
Nanotechnol 等发表SCI论文100余篇，申请发明专利107项。相关研究荣获国家科技部2022年度全国颠覆性技术创新大赛优胜奖（最高奖，排名第1）。
专家点评
陈力教授：沈百荣团队在国际著名药理学杂志《Drugs》上发表了题为“Aligning
Large Language Models with Humans: A Comprehensive Survey of ChatGPT's
Aptitude in
Pharmacology”的论文，该论文系统地探讨大型语言模型（LLM）在药理学领域的应用潜力和价值。对医院而言，该研究的意义尤为突出。首先，该团队所开发的基准测试数据集可为医院提供更精准的药物信息检索手段，提高处方审核和临床用药咨询的准确性与效率。其次，研究评估了LLM在基础药理学知识、先导化合物结构优化以及药理学研究趋势等方面的表现，为医院在药物选择、用药方案制定与个体化治疗等领域提供了新的技术和思路。此外，文章还揭示了LLM在药物相互作用、耐药性预测及不良反应监测方面的潜在局限性，提示在具体临床应用中需要充分的药学专业知识和安全策略相配合。
总体而言，沈百荣团队在药理学与人工智能交叉领域取得的显著进展，为未来大语言模型在医院药品管理实践与研究中提供了宝贵资源和参考。该研究成果不仅具有理论创新意义，也在药物管理、临床决策支持和合理用药等环节具备实际应用价值。随着大语言模型技术的不断完善，其在优化医院药剂科工作流程、提高药物治疗安全性和精准性方面将发挥更大作用，进一步推动医院药学与人工智能的深度融合，为患者提供更加优质、安全的药学服务。
陈力，药理学博士，主任药师，国家卫健委临床药师培训带教师资，四川大学华西第二医院药学部副主任，中华医学会信息分会医院信息学组委员，中国医院装备协会药学分会委员，四川省医院协会药事管理专委会副秘书长，四川省预防医学会药源性疾病控制分会副秘书长，四川省药学会临床药学专委会委员、药物经济学专委会委员；并担任《医药导报》、《中南药学》、《肿瘤药学》编委。近年以第一/通讯作者身份发表论文100余篇，其中SCI论文24篇，负责纵向课题5项，以第一发明人身份获发明专利1项，实用新型专利8项，软件著作权2项，参编专著8本。研究方向包括循证药学、药物经济学、药品不良反应、医学信息学等。
作者心得
包括ChatGPT、Llama2、Claude、PaLM和Gopher等大语言模型（Large
Language Models,
LLMs）在解读药物结构-活性关系、优化先导化合物结构以及辅助药物重定位等领域展现了巨大潜力；但是，药理学是一个复杂且高度动态的领域。将通用大型语言模型（LLMs）直接应用于药理学实践可能会导致幻觉和随机错误等问题。探索集成专门数据集、数据库、知识库和知识图谱等大模型可以有效缓解这些问题。因此，构建一个药理学基准测试集不仅是通用大模型测评而且是药理学大模型训练、测试和评估的重要内容。沈百荣教授团队长期专注于包括药理学大模型等内的转化信息学研究，沈百荣教授提出构建药理学测试集的基本设想，并对药理学测试集的基本框架进行了顶层设计。
投稿时，我们首先选择了Springer-Nature出版集团下《Drugs》
杂志，该杂志是药理学和毒理学研究top期刊，专注于发表具有绝对创新性的药学临床研究和临床转化方向的论文，因此我们将《Drugs》定位为本论文的最佳投稿杂志。
2024年5月，我们向《Drugs》投稿，并在同年11月经历了两次大修和一次小修。多位评审专家在审稿过程中表现得极其严谨和认真，提出了许多专业的意见和建议。在肯定我们初稿质量、研究的严谨性和创新性的同时，审稿人也指出了如何更客观地评价临床疗效数据、突出本研究的亮点和价值。此外，评审专家还对图表的呈现和部分讨论观点的表达提出了具体的修改建议。
评审专家的宝贵意见促使我们团队在修改过程中，逐条完善了语言表述、观点呈现和图表展示等多个细节，最终显著提升了论文的质量。修回后的论文得到了评审专家的一致认可，并于2024年11月初正式接收，12月底正式出版。
此次投稿经历不仅提升了我们的科研能力，也加深了我们对高质量学术写作和跨学科研究的理解。感谢《Drugs》编辑部和所有评审专家的辛勤工作和宝贵建议，使我们的研究成果能够顺利发表并为药理学和毒理学领域的发展贡献力量。
通信作者
沈百荣，教授，博士生导师，四川大学华西医院疾病系统遗传研究院院长。兼任西雅图系统生物学研究所教授、中国生物信息学学会筹建核心组成员、四川省生物信息学学会理事长、教育部基础医学“101计划”基于理工信的医学数据采集与分析虚拟教研室带头人、四川省“十四五”规划数字健康专家组组长、基金委和科技部专家等。2012年以来在国际上倡导转化信息学，是国际转化信息学高峰论坛（ICTBI）的创始主席。主持国家项目10多项，发表论文300余篇，主编英文著作和规划教材等10余部。
第一作者
张影波，博士研究生，研究兴趣主要为机器学习模型、医学信息学或生物信息学等，近年，以第一作者在DRUGS、IEEE
TBD 等杂志上发表学术论文20篇，出版学术专著2部。
团队简介
沈百荣教授团队研究方向为生物医学与人工智能，主要开展复杂疾病的转化信息学、智能医学、健康管理、医学聊天机器人、生物样本库理论等交叉领域研究。团队依托四川大学华西医院疾病系统遗传研究院，成员来自临床医学、生命科学、计算机科学、管理学等跨学科领域。团队与四川大学华西医院泌尿外科、重症医学科、眼科、乳腺疾病中心、麻醉手术中心、呼吸与危重症医学科、全科医学中心、护理部、临床研究管理部等多个科室开展合作，针对具体临床问题开展标准制定、技术攻关和转化应用等研究。研究合作对象包括美国乔治梅森大学、德国明斯克大学、巴西北里奥格兰德联邦大学、西班牙巴斯克大学、芬兰赫尔辛基大学、芬兰坦佩雷大学、日本产业研究院、香港城市大学等机构。团队承担国家级项目10余项，出版英文著作和规划教材10余部，累计发表论文200余篇。