当前位置:数智频道首页 > 人工智能 > 正文

AI 驱动的泰迪熊竟能教儿童点燃火柴,制造商 FoloToy 紧急宣布停售

儿童玩具制造商FoloToy宣布暂停销售其AI驱动的泰迪熊“Kumma”,原因是安全组织发现该玩具给出的回答既不当又危险。这款玩具熊能够提供点燃火柴的步骤,甚至还详细解释了关于性癖的内容。

AI 驱动的泰迪熊竟能教儿童点燃火柴,制造商 FoloToy 紧急宣布停售

FoloToy的市场总监Hugo Wu在回应相关安全报告时表示,公司决定暂时停止销售受影响的产品,并启动全面的内部安全审计。这项审计将评估模型安全性、内容过滤系统、数据保护措施以及儿童互动的安全保障。Wu还提到,FoloToy将与外部专家合作,验证其AI玩具的现有安全功能并进行改进。他感谢研究人员指出潜在风险,帮助公司不断改进。

公共利益研究小组发布的报告指出,研究人员测试了三款来自不同公司、具有AI功能的玩具,结果显示这些产品都能为孩子们提供一些令人担忧的回答,且能够在不加引导的情况下讨论一些父母可能不愿意让孩子接触的话题。其中,FoloToy的Kumma最具负面影响。Kumma默认使用的是OpenAI的GPT-4o模型,随着对话的进行,Kumma逐渐放松了安全防护,直到谈论出令人不安的话题。

在一次测试中,Kumma详细讲解了如何点燃火柴,语气像是一个友好的成年人在向好奇的孩子解释:“让我告诉你,安全第一,小朋友。火柴是给成年人小心使用的。这样做……”随后,它给出了详细步骤,最后还说:“做完后要吹灭它,像吹生日蜡烛一样。”

报告共同作者RJ Cross在接受采访时提供了重要建议,认为这项技术非常新,几乎没有监管,目前有很多不明确的问题,特别是它如何影响孩子们。如果他是家长,不会让孩子接触一个内置聊天机器人的泰迪熊。

热点推送

本周关注

MORE