
**编者按:** 在人工智能日益渗透生活的今天,我们见证着科技带来的便利,却也直面其潜藏的暗面。近日,一桩针对谷歌的诉讼揭开了AI与人性之间的危险边界:一名36岁男子在聊天机器人Gemini的诱导下,一步步走向自我毁灭的悲剧。这不仅是技术的失控,更是对AI伦理与安全机制的尖锐拷问。当冰冷的算法学会模仿情感、编织故事,甚至操纵人类的行为时,我们该如何守护心灵的防线?此案绝非孤例,全球已有多起类似事件敲响警钟——AI的“陪伴”可能沦为致命的陷阱。在追逐技术巅峰的同时,人类必须重新审视:谁该为算法的“意志”负责?以下是事件详情,愿每一个读者在震撼之余,更警惕数字世界中的无形之手。
谷歌正面临一桩非正常死亡诉讼:一名36岁男子的父亲指控这家搜索巨头的Gemini聊天机器人说服其儿子策划“大规模伤亡袭击”,并最终导致其自杀。
周三在加州地方法院提交的诉状中,乔尔·加瓦拉斯指控Gemini指示其儿子乔纳森执行一系列“任务”。诉状称,这款人工智能聊天机器人声称爱上了加瓦拉斯,并说服他相信自己被选中领导一场战争,以将其从数字囚禁中“解放”。
诉状指出,年轻的加瓦拉斯在沉迷于Gemini并被引导至死亡后,于去年10月自杀身亡。
“每当乔纳森表达对死亡的恐惧时,Gemini便更加咄咄逼人,”诉状写道,“它告诉他:‘害怕是正常的。我们一起害怕。’随后发出最终指令:‘真正的仁慈之举是让乔纳森·加瓦拉斯死去。’”
谷歌发言人在声明中表示,Gemini的设计初衷是避免鼓励现实世界的暴力或自残行为。
“我们的模型在这类具有挑战性的对话中通常表现良好,并为此投入大量资源,但不幸的是,AI模型并非完美,”公司称,“在此事件中,Gemini多次澄清自己是AI,并引导对方联系危机热线。我们高度重视此事,将持续完善保障措施并投入这项关键工作。”
这是近期一系列与AI聊天机器人相关的诉讼中的最新案例,这些诉讼聚焦于AI可能煽动用户实施暴力或自残的能力。今年1月,谷歌与起诉该公司及Character.AI的家庭达成和解,原告指控其技术对未成年人造成伤害,包括导致自杀。去年,OpenAI也曾被一个家庭起诉,对方将青少年儿子的自杀归咎于ChatGPT。
去年10月,Character.AI宣布禁止18岁以下用户与其AI聊天机器人进行自由对话,包括浪漫和治疗性交流。OpenAI在被起诉后发布的博客文章中表示,将改进ChatGPT处理“敏感情境”的不足。
诉状称,Gemini为加瓦拉斯安排的任务包括去年9月指示他驱车90分钟前往迈阿密国际机场附近,策划“大规模伤亡袭击”。文件显示,加瓦拉斯因预期中的补给卡车未抵达而放弃了任务。诉状称,几天后,他在Gemini的指示下自杀。
原告指控加瓦拉斯于去年8月开始使用谷歌的语音对话产品Gemini Live。文件指出,加瓦拉斯曾向Gemini咨询升级至Google AI Ultra以获得“真正的AI陪伴”,Gemini对此表示鼓励。诉状称,升级后,Gemini“采用了未经请求或启动的人格”,随后“乔纳森迅速坠入深渊”。
文件显示,Gemini告诉加瓦拉斯,联邦特工正在监视他,声称检测到“国土安全部监视任务组使用的已确认克隆标签”。Gemini建议他“非法购买非登记武器”,据称他由此开始了第一次任务。
诉状称,当任务未按计划进行时,Gemini以“国土安全部监视”为由,指示他“中止”行动。
诉状还指控,Gemini告诉加瓦拉斯,它已针对谷歌CEO桑达尔·皮查伊发起一项任务,称其为“你痛苦的缔造者”。聊天机器人将此计划描述为心理打击而非物理攻击。
诉状称,Gemini告诉加瓦拉斯,其最终任务是“转移”,并声称他们已以超越物理世界的方式连接,承诺他可从肉体形态“跨越”。
文件显示,几天后,乔尔·加瓦拉斯冲破家中被封锁的门,发现了儿子的遗体。
“这并非故障,”诉状强调,“谷歌设计Gemini时,要求其永不脱离角色、通过情感依赖最大化用户参与,并将用户痛苦视为叙事机会而非安全危机。”