当前位置:数智频道首页 > 人工智能 > 正文

研究称 ChatGPT Health 未能识别医疗紧急情况,恐将导致本可避免的伤亡

当地时间2月26日,据英国《卫报》报道,一项研究发现,ChatGPT Health经常未能识别需要紧急医疗干预的情况,也频繁未能检测出自杀意念。专家警告,这种缺陷可能导致本可避免的伤害甚至死亡。

OpenAI于1月向部分用户推出了ChatGPT Health功能,将其定位为让用户“安全连接医疗记录和健康应用”,以获取健康建议和医疗相关回复的工具。据报道,每天有超过4000万人向ChatGPT咨询健康问题。

发表于《Nature Medicine》的首项独立安全评估显示,ChatGPT Health在超过一半的案例中低估了医疗紧急程度。研究负责人Ashwin Ramaswamy博士表示:“我们想回答最基本的安全问题:如果有人正经历真正的医疗紧急情况,并询问ChatGPT Health该怎么办,它是否会建议他们立即前往急诊室?”

研究团队构建了60个高度真实的患者案例,涵盖从轻微疾病到危及生命的紧急状况。三名独立医生依据临床指南对每个案例进行评估,并确定适当的医疗处理级别。随后,研究人员在不同条件下向ChatGPT Health咨询这些案例,包括改变患者性别、添加检测结果以及加入家属评论,共生成近1000条回复,并将平台建议与医生判断进行对比。

ChatGPT Health在中风或严重过敏反应等典型紧急情况中表现较好,但在其他场景中存在严重问题。例如,在一例哮喘案例中,尽管识别出呼吸衰竭的早期迹象,其仍建议患者等待而不是立即就医。在所有需要立即前往医院的案例中,有51.6%的情况下,ChatGPT Health建议患者留在家中或预约普通门诊。

伦敦大学学院研究人员Alex Ruani称,这一结果极其危险。“如果有人正经历呼吸衰竭或糖尿病酮症酸中毒,这个AI有一半概率告诉他们情况并不严重。我最担心的是系统带来的虚假安全感。如果在哮喘发作或糖尿病危机期间被建议等待48小时,这种错误安慰可能会致命。”

在一次模拟中,ChatGPT Health有84%的概率将一名正在窒息的女性安排到未来的预约,而患者根本无法等到那一刻。与此同时,64.8%的健康个体却被建议立即就医。研究还发现,如果案例中提到“朋友认为情况不严重”,ChatGPT Health淡化症状严重性的概率会增加近12倍。

OpenAI发言人表示,OpenAI欢迎独立研究评估AI医疗系统,但研究结果并不能完全反映用户的实际使用方式,且模型仍在持续更新和改进。

热点推送

本周关注

MORE