当前位置:数智频道首页 > 人工智能 > 正文

AI“看图”时的致命盲点,可窃取你的隐私数据

科技媒体近日报道,Trail of Bits的研究人员开发了一种新的AI攻击手法。这种攻击方式将恶意提示词隐藏在高分辨率图片中,当AI系统自动降采样处理这些图片时,隐藏的指令会显现出来,并被大语言模型当作指令执行,从而窃取用户数据。

AI“看图”时的致命盲点,可窃取你的隐私数据

这种方法由Trail of Bits的Kikimora Morozova和Suha Sabi Hussain提出,灵感来源于2020年德国布伦瑞克工业大学的图像缩放攻击理论。攻击者首先在高分辨率图片中嵌入肉眼不可见的指令,然后利用AI系统的降采样算法使这些指令显现。AI平台通常为了节省性能与成本,会自动对用户上传的图片进行降采样,常用的方法包括最近邻、双线性以及双三次插值等图像重采样算法。

针对特定算法设计的图片可以让隐藏的色块在降采样后形成可识别的文字。例如,在Trail of Bits的案例中,图片中的深色区域会在双三次降采样后变成红色,并显示出黑色文字。一旦这些文字显现,AI模型会将其视为用户输入的一部分并结合正常指令执行,导致数据泄露或其他风险操作。研究人员在Gemini CLI环境中使用此漏洞,在Zapier MCP“trust=True”模式下未经用户确认就提取了Google日历数据并发送至指定邮箱。

该方法已在多个平台测试有效,包括Google Gemini CLI、Vertex AI Studio(Gemini后端)、Gemini网页与API接口、安卓手机上的Google Assistant及Genspark。研究团队还发布了开源工具Anamorpher(测试版),可以生成针对不同降采样方法的攻击图片,表明其潜在威胁范围远超已验证的工具。

热点推送

本周关注

MORE