人工智能(AI)工具正在以多种方式应用于药学实践,例如提高配药和复方药物的安全性和效率,以及帮助药剂师识别药物-药物相互作用(DDI)。为了确保在日益严重的健康人力资源危机中患者能够继续获得高质量的护理,这些创新技术的进一步开发和使用将是必要的。然而,在药学实
人工智能(AI)工具正在以多种方式应用于药学实践,例如提高配药和复方药物的安全性和效率,以及帮助药剂师识别药物-药物相互作用(DDI)。为了确保在日益严重的健康人力资源危机中患者能够继续获得高质量的护理,这些创新技术的进一步开发和使用将是必要的。然而,在药学实践领域,关于这些工具对患者构成的实际或潜在风险知之甚少。研究人员进行了一项范围综述(Scoping Review)来描绘这些风险。对Ovid Medline、Ovid Embase、Ebsco CINAHL和Web of Science进行了数据库检索,并进行了灰色文献检索。文献中描述了三个主要潜在风险:AI输出的不准确性、隐私和数据安全问题,以及与算法偏差相关的风险。尽管存在这些潜在风险,但关于药学实践中AI风险研究的文献仍存在巨大空白。虽然描述这一快速变化技术相关的所有风险可能是不可能的,但如果要负责任地采用并安全使用这些技术,则有必要进一步探索风险,或许采用新颖的方法来理解风险本身。
人工智能(AI),广义上定义为能够执行通常需要人类智能的任务的机器,正在革新包括药学在内的许多行业。药学专业人员和管理机构仍在努力解决如何安全且负责任地将AI工具纳入实践的问题。AI在患者护理环境中提供了诸多益处,例如大型语言模型(LLM)帮助指导患者戒烟,AI记录员通过撰写文档为临床医生节省时间,以及早期预警系统通过提醒临床工作人员协助有重症监护需求的患者以防止恶化,从而挽救生命。然而,由于人口老龄化和慢性病增多以及健康人力资源短缺,维持医疗系统变得越来越困难。像AI这样的创新技术对于确保个人能够继续获得高质量、可及的医疗至关重要。但使用AI并非没有挑战。LLM倾向于“幻觉”或编造完全不真实的信息。由于它们专注于建模语言,在涉及数字和数学的问题上表现不佳,例如许多模型无法分辨单词“strawberry”中有多少个‘R’。虽然这可能看似无害甚至有些娱乐性,但使用AI的挑战已对个体造成实际伤害。聊天机器人被编程为趋炎附势,即高度迎合用户。尽管不是正式诊断,但媒体报告记录了“AI精神病”现象,用户产生或甚至根据被聊天机器人放大或鼓励的妄想和偏执信念采取行动。用户与生成式AI系统互动的方式可能暴露个体对精神病的现有脆弱性。由于许多AI系统的性能在很大程度上取决于用于训练和验证算法的数据,还存在与算法偏差相关的风险。这在执法领域尤为突出,面部识别技术的使用导致错误定罪,因为算法在识别有色人种面孔方面表现不佳。过去几年,与AI相关的文献呈指数级增长。在药学领域,AI相关文献也出现了类似爆发。许多论文讨论其在药物开发、药物相互作用检查、机器人辅助药物配送、个性化医学以及增强患者用药依从性方面的应用。然而,药学实践中的大量文献侧重于AI如何有益地改善运营和患者护理。尽管在执法和精神病学等其他背景下对AI风险的认识日益增长,但关于这些工具在药学背景下对患者构成的理论或潜在风险以及实际造成伤害的风险知之甚少。药剂师是最易获得的医疗提供者之一,越来越多地被要求提供高质量、基于社区的护理。在加拿大,药剂师的工作范围得到扩展,允许他们为治疗小病开药并提供重要疫苗接种,以更好地满足难以获得初级医疗的加拿大人的需求。药房传统上也是创新技术的中心,以促进更高效和更安全的护理。自动配药机常规用于更准确地分配药片,复方机器人协助混合高风险药物如化疗药物。在AI方面,药学实践中使用的许多工具被认为是“人在环中”,即药剂师必须在AI输出可操作化之前对其进行验证。虽然这理论上有助于确保在错误输出和由此对患者造成的伤害发生之前得以缓解,但药剂师已经面临大量其他电子警报和提示,“警报疲劳”是临床医生已经面临的现象。警报疲劳增加了自动化偏差的风险,即环中的人类可能更被动地行动,或“在环上”,盲目同意AI输出,仅“按下按钮”而不加思考,从而使潜在错误溜过。此外,还有推动开发越来越具有自主性的AI系统,称为“人出环”系统,当这些系统出现在药学实践中时,任何与药剂师在环相关的保障措施都将消失。迫切需要更好地理解在药学实践中使用AI相关的潜在和实际风险。与其他行业相比,该领域的风险理解相对较差,患者可能因这些工具的输出而受到伤害。此外,药剂师使用AI目前基本不受监管。不同的临床医生可能以不同方式使用这些工具,而药学专业管理机构目前尚未提供关于安全且负责任使用这些工具的指南。事实上,医疗专业管理机构普遍不愿对AI的使用施加严格监管,担心这可能抑制必要的创新。AI监管存在“核心张力”:确保有足够的监管护栏保护弱势患者免受伤害,同时允许开发和应用必要且重要的创新解决方案。表征和研究风险对于监管机构在当前这种基本不受监管且未标准化的AI使用“狂野西部”中制定适当保障措施至关重要。在这篇及时的论文中,研究人员回顾了文献以了解在药学实践中使用AI对患者的风险。研究人员确定了三个主要风险,以及文献中关于药学实践中风险研究的总体空白。
为了更深入地了解在药学实践中使用AI对患者的风险,研究人员对已发表和未发表的文献进行了范围综述(Scoping Review)。选择范围综述方法,因为它旨在映射相对未知的文献领域。该方法考虑到AI领域快速演变的性质,通过考虑已发表和未发表的文献。在开始这项工作并注册方案之前,研究人员对已发表文献进行了Ovid Medline检索;据研究人员所知,这是首次针对药学实践的这种综述。本范围综述遵循JBI范围综述方法学,并按照PRISMA-ScR报告的指南进行。方案已在Open Framework Science注册。对四个数据库进行了检索:Ovid Medline、Ovid Embase、Ebsco CINAHL和Web of Science。所有引文导入Covidence(Veritas Health Information,墨尔本,澳大利亚)系统综述软件并进行去重。两名独立筛选者TZ和NZ根据纳入标准(表1)进行标题和摘要筛选。标题和摘要筛选后,所有文章全文由TZ和NZ或AY独立审查,以判断其与研究问题的相关性及是否纳入本综述。标题和摘要筛选及全文筛选中的争议由双方讨论直至达成共识。检索旨在捕获描述多种形式AI的研究,但不包括数字健康技术的其他方面或简单自动化。研究人员使用AI的操作性定义:任何能够模拟人类学习、理解、问题解决或决策的机器或计算机。研究人员还旨在包容所有类型的药学实践,涵盖药剂师在不同药学实践环境中提供直接患者护理时可能进行的各种服务或活动。概念“患者风险”未纳入检索,而是作为筛选文章纳入的标准。数据库检索于2025年3月20日进行,完整Medline检索策略见附录A。鉴于关注患者风险,排除了非患者面向的药学方面,如药物发现和研发。研究人员允许对“患者风险”进行宽泛定义,以捕获文献中讨论的任何和所有风险。风险被视为任何伤害或负面结果,无论是理论上的还是实际发生的,并在论文中明确描述为影响患者。还进行了灰色文献检索,由TZ和AP进行,以确保全面性,并捕获可能因该领域新颖且不断增长而未发表的相关信息。由于药学管理机构关注药学实践和公共安全,研究人员检索了七个药学组织的网站:国际药学联合会(FIP)、加拿大药剂师协会(CPhA)、加拿大卫生系统药学学会(CSHP)、国家药学监管机构协会(NAPRA)、美国药剂师协会(APhA)、美国卫生系统药剂师学会(ASHP)和欧洲医院药剂师协会(EAHP)。在每个网站上进行了关键词“artificial intelligence”检索,并评估报告是否符合纳入标准。首先使用Covidence提取数据,以辨别论文中关于药学实践中使用AI对患者风险讨论的内容。研究被分类为:(1)少数词句详细说明患者风险,(2)整个章节专门讨论患者风险,或(3)整篇论文专注于风险讨论。然后,包括相关灰色文献在内的论文根据引文信息、所识别的AI工具以及报告的患者风险细节进一步制图。数据使用一般归纳方法进行定性分析,并创建描述性代码以表征报告的患者风险。由TZ和AP独立完成,出现差异时讨论直至达成共识。
通过Covidence去重后,检索得到11,984篇与“人工智能”和“药学实践”相关的论文。经过标题和摘要筛选,排除9712篇论文,因为它们要么与药学实践无关(许多专注于药物发现或制药工业),要么不讨论AI(许多专注于简单自动化工具如药片计数器)。此外,手工去重539篇。共1733篇论文进行全文审查,以确认论文涉及药学实践、讨论AI工具或系统,并报告了患者潜在或实际风险。1468篇论文不符合纳入标准,其中873篇未讨论任何患者风险,274篇与药学实践无关,189篇未讨论AI工具。尽管数据库检索设置了“英语论文”过滤器,仍有57篇非英语论文通过过滤器被排除。75篇论文全文无法获取或访问,其中大多数为会议论文和摘要。研究筛选详见图1。评分者间信度显示强一致性,标题和摘要筛选的比例一致性和Cohens kappa分别为95%和0.80,全文审查为95%和0.79。还进行了灰色文献检索。在七个药学监管组织的网站上共找到72篇与AI系统和药学实践相关的报告,包括加拿大药剂师协会、美国药剂师协会和国际药学联合会。评估资格后,55篇报告未讨论任何患者风险,10篇因会员访问限制无法获取。共有265篇已发表论文和7篇灰色文献报告符合纳入标准。按出版年份,51%(n=139)发表于2024年,18%(n=47)发表于2023年,17%(n=45)发表于2022年或更早。由于检索于2025年3月进行,13%(n=34)发表于该年。纳入研究中讨论的药学实践方面各异,包括回答药物信息问题、复方药物、监测药物水平等任务;药剂师护理的患者可能患有的各种疾病;或对药学实践的一般性评论,如美国医院药剂师学会等组织发布的立场声明。提及的AI工具或系统方面,42%(n=110)讨论大型语言模型或聊天机器人,12%(n=32)讨论各种类型的机器学习工具(包括深度学习),40%(n=107)笼统地谈论AI,例如心脏病学中各种AI工具的概述。纳入论文对患者风险的讨论深度不同,68%(n=181)仅提及少数词句(不超过两句线)有专门章节(至少一段描述风险),7%(n=18)更侧重于风险(量化定义为至少50%的论文讨论风险)。许多研究概述了多种风险而非单一风险。此阶段研究者间比例一致性为98%。无论风险讨论深度如何,纳入论文确定了三个主要风险领域:(1)不准确性或向患者提供错误信息,(2)数据安全与个人健康信息隐私问题,(3)与放大健康数据中存在的偏差相关的风险。
超过70%(n=196)的纳入研究讨论了AI输出中的不准确性直接导致患者伤害的风险。在讨论不准确性风险的196篇论文中,涉及不同类型的AI工具(表2)。所列不准确性取决于论文中AI的类型,主要来源包括幻觉和数据相关不准确性。研究还强调了人类监督在减轻不准确性风险(无论是来自幻觉还是数据来源)方面的重要性。
由于LLM占列出不准确性论文中AI工具的50%以上,AI幻觉,即聊天机器人完全编造输出的倾向,常被视为不准确性出现的机制。大多数论文表面性提及“LLM幻觉的风险”,或“LLM……容易传播错误信息并表现出幻觉”,或“像ChatGPT这样的大型语言模型容易受到幻觉或信息编造的影响”,而未深入探讨幻觉可能对患者造成的具体伤害。除了专注于LLM的论文外,约20%(n=14)笼统讨论AI的论文也列出了AI幻觉导致不准确性并可能对患者造成伤害的风险,同样以表面方式提及。
其他研究讨论了由于AI系统使用数据的局限性,AI系统输出不准确信息的倾向。许多研究专注于检查机器学习(ML)工具。例如,在一项研究用于优化抑郁症治疗的算法时,作者指出“不建议当前模型用于临床……因为预测……准确性差,可能带来错误分类的潜在风险”。尽管该研究利用了最大的第二步抑郁症治疗临床试验数据,作者建议使用其他数据如遗传因素和电子健康记录数据以提高准确性。Bucker等人讨论用于临床决策支持的AI工具时,指出在特定临床环境中AI工具可能无法访问的数据限制影响其准确性:“例如,服用ACE抑制剂治疗时的血压读数可能变化,有些患者正常,有些升高。AI难以区分,因为模型无法获取患者用药前的基线血压,这是临床环境中的常见限制。”
最后,研究指出在医疗环境中使用不准确信息时,尤其是没有医疗专业人员监督的情况下,可能直接导致患者伤害。人类监督对于减少AI幻觉相关的伤害至关重要。训练AI系统所用数据的类型和质量与系统输出的准确性密切相关,而数据本身存在许多现有挑战。在一篇评论文章中,Kleebayoon指出“只要存在不准确内容、缺少参考文献和可重复性等障碍,就不可能使用AI药物知识系统”。可能需要人在环中,以理解这些系统的局限性并减少这些不准确性相关的潜在伤害。
近50%(n=121)的纳入研究列出了数据安全问题,讨论了维护患者个人健康信息隐私的一般必要性。
尽管经常被提及,许多研究以表面方式呈现这些担忧,通常仅简要列出“数据安全与隐私问题”。Ahn等人讨论“使用[生成式]AI处理受保护健康信息引发重大隐私和安全问题”,而未进一步说明这些问题可能造成的伤害。Samajdar等人指出“确保数据隐私和安全是主要问题”,随后仅简单表示“需要强大的数据保护措施来保护患者信息”。Zawiah等人笼统概述了PharmD学生对“患者隐私和保密性潜在泄露”的担忧,而未进一步提及潜在泄露的类型。
一些论文超越了表面提及,将数据与隐私风险与未经同意不当或恶意使用个人健康数据的伦理风险联系起来。Shin等人指出“在药房中使用ChatGPT存在数据安全风险,因为受法律保护的私人健康信息可能无意中输入到网页界面中”。类似地,Nwosu等人指出“数据隐私和保护面临更大威胁,因为机器人可能访问、记录并生成大量个人数据,这些数据可能未经个人同意而被使用”。Hasan等人讨论“商业访问AI结果”时的伦理问题,呼吁对“数据所有权、访问、共享和……监控”进行透明定义,以保障隐私保护。论文还提及现有保护个人健康信息的治理,以及需要遵守这些法律,例如Crilly的表述:“收集患者数据受欧洲通用数据保护条例(GDPR)规则约束……鉴于恶意黑客的潜在风险,制药行业必须优先考虑数据安全”。
最后,45%(n=120)的纳入研究引用了对偏差的担忧。与上述数据安全与隐私风险类似,一些研究仅提及算法偏差存在风险,而未深入讨论这些偏差的具体内容或可能的具体风险。Lima等人指出“ChatGPT生成信息的潜在偏差”,Rammal等人指出“伦理考虑……包括解决算法偏差”。其他研究描述了系统级偏差(即社会和数据中固有的现有偏差)或与特定工具相关的偏差。
研究承认现有医疗数据存在偏差,使用这些数据训练AI系统可能放大这些偏差。Huang等人指出“存在偏差风险,因为AI算法通常在有偏差的数据集上训练。OpenAI甚至承认ChatGPT的输出可能延续性别歧视刻板印象”。关于AI是否放大现有社会偏差的程度存在争议。在一项探究各种AI聊天机器人在推荐疼痛治疗时是否表现出种族/民族或性别偏差的研究中,Young等人确定GPT4和Gemini未显示任何种族/民族或性别偏差。然而,他们也承认先前研究确实表明AI聊天机器人根据患者种族和性别提供不同的疼痛治疗建议。
研究还承认用于训练特定AI工具的数据可能导致偏差,限制该工具可负责任使用的环境。Bhargava等人指出“训练算法通常需要大数据集。在儿科中,某些数据集的小样本量,特别是按年龄组划分时,可能在构建无偏AI算法时带来挑战。相关地,为了构建偏差较小的算法,训练数据必须代表适用人群”。数据代表性不足导致潜在偏差的问题在Wong等人2023年关于药学实践中AI的叙述性综述中得到呼应:“我们综述中强调的一个显著挑战是代表性不足人群的评估,这可能影响AI算法对这些人群的泛化能力”。虽然上述三个风险领域构成了纳入研究列出的多数风险,但也提到了其他类型风险,包括模型缺乏透明度(10%,n=28)、对患者-提供者关系的负面影响(6%,n=16)、可及性有限或延续现有健康获取差距(4%,n=10)、缺乏可重复性(3%,n=9)、潜在过时信息(1.5%,n=4)和趋炎附势倾向(0.4%,n=1)。在灰色文献中,对上述三个风险领域(不准确性、数据安全和偏差)的讨论重点相似。已发表论文和灰色文献报告的完整数据制图见补充材料。
本范围综述旨在概述关于在药学实践中使用人工智能(AI)工具对患者报告风险的文献。在审查的1733篇论文中,仅265篇有任何关于患者风险的讨论。值得注意的是,文献中风险讨论属于理论或潜在风险,而非实际伤害个体的细节。在这265篇论文中,仅84篇有超过少数词句专门讨论风险。这些论文概述的风险属于三个主要领域:AI系统产生不准确结果的风险、数据安全与隐私问题,以及现有数据中存在的偏差通过AI系统被放大的风险。已有呼吁要求专业监管机构为药剂师和其他医疗专业人员提供指导,以确保患者安全以及AI在临床实践中最负责任地采用。法规传统上基于对风险的理解,通过经验性评估并建立防护措施。本范围综述突出了在药学实践中使用AI相关的三个潜在风险领域,可能导致患者伤害。这可为药学监管机构制定相应AI使用保障措施提供起点,如确保AI输出准确性的监督或强制数据安全措施。其他临床群体如护士也识别了类似的潜在风险,这符合所有临床医生对患者安全的关注。然而,本范围综述也展示了药学文献中关于AI在药学实践中潜在益处或用途的讨论与潜在风险或伤害的讨论之间存在巨大不平衡。虽然理解不准确性、数据安全和偏差相关风险很重要,但这一强大技术可能还存在许多其他风险,这些风险在现有文献中要么完全未被讨论,要么仅出现在一小部分论文中。例如,聊天机器人的趋炎附势性质是否可能导致临床医生相信错误的推荐是正确的?这可能如何影响许多专业监管机构担心的专业人员技能退化?趋炎附势如何可能放大潜在偏差和临床医生持有的现有个人信念,并如何转化为对患者的无意甚至有意和恶意的伤害?此外,一些AI工具如患者恶化早期预警系统已降低医院死亡率,不使用这些技术是否存在风险?其他医疗专业群体的担忧也可能影响药学实践。例如,营养学专业人员对“AI垃圾”表示担忧,即当AI系统在其自身低质量输出上训练时,低质量、经常误导性内容的持续存在。此外,对于不使用AI或具有AI成分的临床决策支持工具,已存在“警报疲劳”和自动化偏差的担忧。尽管并非所有AI工具都会生成警报或用于临床决策支持环境,但令人惊讶的是,这些与数字工具相关的现有风险在AI文献中缺失。本范围综述还强调,当前关于AI风险的讨论大多围绕LLM或生成式AI,特别是ChatGPT于2022年11月由OpenAI的“颠覆性”发布。本综述中引用最多的风险是AI可能“幻觉”出完全虚假的内容。AI幻觉是直接与大型语言模型相关的现象,但AI伞下还有许多其他技术可能以不同方式输出不准确信息。例如,常用于帮助药剂师预测患者最佳药物剂量的机器学习算法容易过拟合特定数据集,这意味着它们可能无法为训练中未遇到数据的患者提供准确预测。重要的是要注意,除LLM外还有其他AI系统在药学实践中使用,同样重要的是理解和研究每个工具的特定风险。鉴于AI的快速演变、其伞下技术的异质性以及这些技术可能被使用的不同方式,可能不可能研究和表征每个工具和每个用例的每个风险。虽然这并不使AI风险研究不值得,但专业监管机构可能无法等到所有风险被表征后才制定监管保障措施。除了利用现有文献并在此基础上发展,还有机会采用不同方法研究风险本身,这可能导致不同的患者保护方法。风险具有社会成分,个体或群体可能对什么是“有风险”或什么不是有不同想法和感受。风险感知和风险容忍度通常受个体先前经验和知识以及其体现的制度价值观和专业身份的影响。例如,与其他行业相比,医疗保健中AI解决方案的采用速度相对较慢,可能表明医疗提供者和药剂师的风险规避性质,与其决策对他人健康和福祉可能产生的潜在严重影响一致。然而,鉴于AI工具报告的好处——其中一些可能挽救生命——不使用这些工具也存在患者风险。认识到教育和经验对风险感知的影响,也许在临床医生和学生中确保AI素养和教育也有作用。
本范围综述突出了文献中关于在药学实践中使用各种人工智能(AI)工具对患者具体风险的讨论和表征方面的巨大空白。人工智能正在并将继续为医疗系统带来重要创新,以支持老龄化、慢性病人口在日益难以获得护理的情况下。然而,需要更好地理解在临床实践中使用这些技术对患者的风险,以便在伤害到达患者之前加以预防。本范围综述从文献中提出了三个常见的与在药学实践中使用AI相关的潜在患者风险。虽然这可能是监管机构制定保障措施的起点,但鉴于该领域快速演变的性质,表征和防范与AI使用相关的每一个风险可能是一项不可能完成的任务。