0
用微信扫码二维码
分享至好友和朋友圈
外部验证是指在来自其他机构、人群、时间段或设备的独立数据上测试模型。当这些外部数据能够代表实际使用时的人群、测量过程和工作流程时,外部验证才能准确估计模型的性能。
2026年10月30日,欧洲心脏杂志(EHJ)发表了一篇文章,针对人工智能(AI)模型的外部验证提出了一套六步实践方案,强调以下内容:
-
构建具有代表性的多机构队列,应覆盖不同地域、时间和数据采集条件;
-
防止不同数据集中患者及时间上的重叠;
-
全面评估区分度、校准度及净获益,并报告置信区间;
-
预先设定亚组分析;
-
报告标注流程与不确定性分析;
-
采用具有方法学依据的样本量计算;
-
将模型更新控制在必要的最小范围内,完整记录更新过程,优先重新校准模型,再考虑模型修订。
![]()
图. 临床人工智能模型外部验证的六步实践方案
外部验证的分步实践方案
不能与临床决策相联系的指标,例如受试者工作特征曲线下面积(AUROC),可能会掩盖模型临床效用不足的问题。外部研究可以将区分度与校准度、决策曲线分析结合起来,量化净获益。
![]()
图 1. 临床人工智能与机器学习模型中的外部验证流程
表 1. 临床人工智能与机器学习模型外部验证的分步实践方案
![]()
遵循报告规范
现行报告规范包括:个体预后或诊断多变量预测模型透明报告规范的人工智能扩展版(TRIPOD+AI)、随机试验报告规范的人工智能扩展版(CONSORT-AI),预测模型偏倚风险评估工具及其人工智能扩展版(PROBAST/PROBAST-AI)。
模型的维护与更新
外部验证可为模型重新校准、模型修订或扩展提供证据,也可支持部署后持续监测性能漂移。
从临床角度看,外部验证最终要回答的是:模型能否提供安全、可靠的决策支持?也就是说,将预测结果用于临床医生的工作流程后,能否减少错误,例如漏诊或不必要的干预,同时保持合适的校准度和临床效用。
目标并非单纯优化统计指标,关键问题是,模型在新人群中的漏诊或错误预测等问题,是否仍处于可接受的范围。如果模型达到预先设定的安全性和临床效用阈值,且长期保持稳定,不一定需要常规更新。应在发现性能漂移或明显的性能下降时,才启动重新校准或再训练。更新须按照既定的变更程序实施,并在部署前重新验证。
亚组与公平性分析
外部验证能够揭示亚组差异,但如果外部队列缺乏异质性、亚组事件数不足,或者分析未预先设定,就可能无法发现问题。因此,本文建议在设计外部验证时,明确以检出具有临床意义的亚组差距为目标,而不只是报告平均性能:
(i)纳入多个独立机构和/或不同的数据采集流程,并设置时间上独立的队列,以覆盖不同机构、设备和时间条件,捕捉工作流程变化及时间漂移。
(ii)预先确定具有临床意义的亚组,例如性别、年龄段、种族/族裔、语言、社会经济困难程度、合并症负担和设备厂商。每个亚组都应有足够的事件与非事件数,以可接受的精度估计决策阈值下的性能指标和校准度。在临床应用中,还应关注临床风险较高的患者,例如存在多种合并症、衰弱或其他脆弱因素的患者,因为校准不佳可能对他们造成更大的影响。
如果少见群体的代表性不足,应考虑富集设计,例如定向招募或过度抽样,以保证亚组事件数充足。不过,主要外部验证队列仍应能够代表预期使用场景。任何富集措施都应明确报告,必要时通过加权等分析方法处理,或将其作为额外的压力测试队列单独呈现。
(iii)评估外部队列是否在常见差异来源上具有足够且有意义的变异,包括患者与就诊记录构成、设备、工作流程、测量过程和诊疗路径。开发队列与验证队列的患病率不同,本身并不构成问题。但如果亚组事件数过少,或估计结果精度不足以支持解释,公平性分析就无法提供足够的信息。
常见问题
分布偏移(Distribution shift)
目标人群变化时,模型性能可能因以下原因下降,例如患病率不同、协变量分布变化,或测量方法存在异质性。无论是线性模型、树模型还是深度学习模型,都可能学到与机构或设备伪迹相关的“捷径”,并在新条件下失效。如果外部验证忽视这些问题,而“外部”数据集又没有对模型形成实质性检验,就可能带来虚假的安全感。
“疾病谱偏倚(spectrum bias)”这一概念表明,表面准确性取决于病例所覆盖的疾病谱;疑难病例或非典型病例会使性能下降。在影像领域,模型可能学到机构特有的伪迹,例如便携式设备标记或采集参数,从而在其他机构中失效。实践中,模型在跨医院应用时,泛化能力往往下降。
即使已经通过外部验证评估泛化能力,模型仍可能因人群、工作流程或数据采集方法不同,而在不同医院表现不一。例如,Epic 脓毒症模型用于预测脓毒症,并向医务人员发出警报。当其用于运行方式不同的医院时,性能出现下降。广泛部署的专有模型在新的医疗系统中接受独立评估时,其区分度和校准度可能明显低于开发者报告的水平。这说明,在临床依赖模型之前,必须开展独立的机构层面评估。
因此,应当:(i)设计在地域、时间和设备方面存在差异的外部队列,并报告患病率与病例构成;(ii)评估区分度和校准度,包括总体校准度、校准斜率和校准图;(iii)在具有临床意义的分层内分析性能。
过度依赖单一指标
AUROC 对临床结局和阈值选择不敏感,准确率会随患病率变化,校准误差可能改变表面上的区分度。校准评估不应仅限于总体校准度和斜率,还应检查校准图。
对于能够指导临床处置的模型,本文建议使用决策曲线分析,因为它可以评估模型在实际使用环节带来的额外临床效用。该方法按预先设定的风险阈值,确定假阳性相对于真阳性的权重,并以“全部干预”和“均不干预”策略为参照,由此可以找出使用模型比常规诊疗策略带来更高净获益的阈值范围。仅报告单一阈值下的灵敏度或阳性预测值,无法提供这些信息。
外部队列规模小、统计效能不足
“100 个事件/100 个非事件”等经验法则较粗,往往不够用。现行指南提供了有方法学依据的外部验证样本量计算方法,目标是精确估计校准度和区分度,并在相关情况下精确估计净获益。
隐性关联
数据泄漏会使评估产生偏倚,但在外部验证中常被忽视,因为人们往往把“外部”等同于“独立”。在多机构场景中,隐性关联可能来自不同网络中共享的患者或就诊记录、重复记录、登记数据库重叠,或在统一处理和预处理时使用了整个数据集的信息。
参考文献:Eur Heart J. 2026 Oct 30:ehag816. doi: 10.1093/eurheartj/ehag816.
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
下载网易新闻客户端
