美国FDA：警惕AI大模型带来的未知问题，亟需监管创新

摘要： 随着新赛季的临近现在联盟各支球队已经开始了季前赛在季前赛当中有不少新援打出了出色的表现像加盟掘金的威少加盟太阳的泰厄斯琼斯等等一个顶级的控卫能够给予球队明显的提升掘金和太阳完成了很...

随着NBA新赛季的临近，现在联盟各支球队已经开始了季前赛，在季前赛当中有不少新援打出了出色的表现，像加盟掘金的威少、加盟太阳的泰厄斯琼斯等等，一个顶级的控卫能够给予球队明显的提升，掘金和太阳完成了很....

“我经常思考和讨论强大 AI 的风险......”

日前，Anthropic CEO Da o Amodei 在其个人博客中呼吁人们重视人工智能（AI）安全问题，“”，过于低估 AI 风险将成为“阻碍我们走向积极未来的 障碍”。

事实上，在 AI 大模型技术快速发展、深度赋能各行各业的当下，一系列复杂且不可忽视的安全风险也随之而来。三位图灵奖得主 Geoffrey Hinton、Yoshua Bengio 和姚期智以及几十位 AI 领域顶尖学者就曾在“AI 安全国际对话威尼斯共识”公开信中警告道，“。”

而医疗保健作为与所有人息息相关的领域，确保其中 AI 应用的安全，避免“灾难性结果”、甚至“一些小错误”都显得更为关键。

作为全球领先的医疗 机构，食品药品 管理局（FDA）对 AI 新技术和产品的态度对全球医疗行业都有深远的影响。

日前，FDA 的 Haider J. Warrch、Troy Tazbaz 和 Robert M. Califf 在 JAMA（国际四大医学期刊之一）上系统性回顾了 FDA 对 AI 的 历史，指出 AI 在医疗产品开发、临床研究和临床护理中的几种潜在用途，并提出了在 系统适应 AI 独特挑战时值得考虑的概念。

尤其是，他们在文章中写道，生成式 AI 的应用，如大语言模型（LLMs），是一个独特的挑战，因为它有可能产生不可预见的突发后果，亟需在这一领域进行 创新，开发者、临床医生、卫生系统领导者和 者之间的合作也至关重要。

FDA 如何 AI 医疗产品？

多年来，FDA 在应对 AI 技术发展方面一直扮演着至关重要的角色。作为首个批准部分 AI 驱动的医疗设备的 机构，FDA 的历史可追溯至 1995 年，当时批准了 PAPNET 软件，旨在通过神经网络来防止宫颈癌误诊。虽然这一技术最初被认为比人类病理学家更准确，但由于成本效益不足，未能广泛应用。

自那时以来，FDA 已经批准了大约 1000 种 AI 驱动的医疗设备，尤其是在放射学和心脏病学领域。

图｜FDA 授权销售的 AI 医疗器械（按年份）（来源：该论文）

最近，FDA 的医疗产品中心描述了关于在医疗产品中开发和使用 AI 的 4 个重点领域：（1）促进合作以保障公众健康；（2）促进协调标准、指南、最佳实践和工具的制定；（3）推进支持创新的 方法的开发；（4）支持与 AI 性能评估和监测相关的研究。

FDA 的 框架建立在以风险为基础的策略之上，根据应用的风险程度，在 AI 方面，可分为非 、部分 和高度 的医疗设备。FDA 注重采取灵活的 措施，例如通过生命周期管理方法，持续监控 AI 驱动设备的安全性和有效性。

图 | AI 的整个产品生命周期方法（来源：该论文）

同时，FDA 也展示了对创新技术的开放态度，推出了例如“软件预认证试点计划”等项目，为新兴技术的发展铺平道路。

此外，FDA 与全球的 机构保持合作，以推动 AI 最佳实践的全球协调，尤其是在医疗设备领域。

AI 在医疗保健领域的应用

事实上，AI 为医疗产品开发的多个方面提供信息的潜力是深远的，并且已经开展了较为丰富的应用。而对于 FDA 而言，想要对此开展良好 与评估的前提是充分了解该技术应用。

目前，AI 在医疗保健领域的应用主要集中于 开发与临床研究两方面。

在 开发方面，AI 正在彻底改变开发的各个阶段。当前，AI 已被广泛应用于 发现的早期阶段，例如通过机器学习模型分析大规模基因组数据、预测 与靶标的相互作用，从而加速潜在候选 的筛选与优化。

此外，AI 在 设计中也发挥着重要作用，特别是在通过计算预测化合物结构和 活性之间的关系上，AI 大幅缩短了 开发的时间。AI 还可以通过分析时间序列数据以补充药代动力学和药效学模型。

未来，AI 在 开发中的潜在用途还包括优化流程设计并实施高级流程控制、智能监控以及维护和趋势监控，还能够通过分析个体遗传数据，设计出针对特定患者的定制化 方案。

在临床研究方面，AI 正在迅速成为临床研究中的关键推动力。当前，AI 主要用于提高临床试验的效率和精度。例如，AI 可以通过大数据分析和自然语言处理（NLP）从临床试验数据库、试验公告、社交媒体、医学文献、登记库以及登记处和电子健康记录中的结构化和非结构化数据中挖掘数据，将个人与试验相匹配，从而筛选合适的试验参与者， 传统临床试验中受试者招募慢、代表性不足等问题。

此外，AI 还能在临床试验数据收集、管理和分析以及上市后安全监测和评估等方面做出卓越贡献。

AI 亟待创新

然而，随着 AI 技术在医疗领域的广泛应用，FDA 面临着新的挑战，包括 AI 模型不断进化和技术应用复杂性的增加使得 难度直线上升。这要求未来的 工作不仅需要确保技术的安全性和，还需通过跨学科的合作与创新，积极应对 AI 技术带来的潜在风险。

FDA 已经意识到传统的静态 方法不再适用 AI 的快速演进，特别是对于生成式 AI 和大语言模型等新兴技术，这些技术具有不可预见的潜在后果。

例如，生成式 AI 在诊断、 等领域虽能带来巨大创新，但也存在潜在的错误和偏见风险，如 AI 医疗记录助手可能会错误生成未经讨论的诊断。因此，需要为这些复杂 AI 模型开发专门的工具，评估其输出的可靠性和安全性。现有的一些评估工具如 DeepEval 已经显示出一定的效果，但更深入的 创新仍是必要的。

此外，文章指出，AI 模型的后续监测与持续评估是保障其安全性的关键，AI 技术的表现受环境变化的影响较大，需要在其使用的临床环境中进行持续的实时监控。未被监控的 AI 系统可能在实际操作中产生重大危害，这一领域也急需新的管理工具和方法来应对。

因此，在 AI 技术时，将更加注重长期的效果监测，并强调合作和透明度，以确保 AI 在医疗领域的创新安全和有效。

三位作者在文末写道：所有相关部门都需要以谨慎和严谨的态度对待人工智能这项可能带来变革的技术。

作者：阮文韵

如需转载或投稿，请直接在公众号内留言