编者按：在人工智能技术飞速发展的今天，如何应对其潜在的伦理与社会风险已成为全球性议题。近日，新西兰一项创新工具引发关注——它旨在通过AI与人工结合的方式，对在聊天机器人中显露极端暴力倾向的用户进行干预引导。这不仅是技术公司应对安全指控的尝试，更折射出数字时代心理健康支持与反极端主义工作的新挑战。当算法既能倾听隐秘痛苦，也可能放大危险思潮，我们该如何在守护安全与尊重隐私间找到平衡？以下报道将带您深入这一前沿领域的探索与争议。

悉尼，4月2日电：新西兰正在开发一款新工具，其研发团队表示，当用户在ChatGPT上表现出暴力极端主义倾向时，将被引导至由人工服务和聊天机器人共同组成的去激进化支持系统。

这项举措是应对安全担忧的最新尝试。当前针对AI公司的诉讼日益增多，指控其未能阻止暴力甚至助长暴力行为。

今年二月，OpenAI曾面临加拿大政府的干预威胁，因其披露一名实施致命校园枪击案的用户曾被平台封禁，但未通知当局。

初创公司ThroughLine创始人、前青年工作者埃利奥特·泰勒透露，该公司正探索将服务范围扩展至预防暴力极端主义。近年来，ThroughLine已被ChatGPT所有者OpenAI及其竞争对手Anthropic和谷歌聘用，当用户被标记为存在自残、家庭暴力或饮食失调风险时，系统会将其转接至危机支持服务。

CNA游戏 猜词游戏 逐行破解单词 热词拼造 用给定字母创造单词 迷你数独 小巧谜题，烧脑挑战 迷你填字 小网格，大考验 单词搜索 找出尽可能多的单词 显示更多 显示更少

这位前青年工作者表示，该公司正与"克赖斯特彻奇倡议"组织进行磋商。该倡议成立于2019年新西兰最严重的恐怖袭击之后，旨在消除网络仇恨。合作将涉及反极端主义团体提供指导，同时ThroughLine开发干预性聊天机器人。

"这是我们希望推进的方向，以更全面地覆盖相关领域，从而更好地支持各大平台，"泰勒在接受采访时表示，并补充说尚未设定具体时间表。

OpenAI确认了与ThroughLine的合作关系，但拒绝进一步置评。Anthropic和谷歌未立即回应评论请求。

泰勒的公司已成为AI企业的首选合作伙伴，其提供的是一个经过持续核查、覆盖180个国家1600条求助热线的网络。该公司由泰勒在新西兰乡村的家中运营。

一旦AI检测到潜在心理健康危机的迹象，就会将用户转接至ThroughLine，由该平台为其匹配附近可用的人工服务。

但创始人表示，ThroughLine的服务范围此前仅限于特定类别。他补充说，随着AI聊天机器人的普及，人们在网上披露的心理健康问题范围急剧扩大，现在甚至包括涉足极端主义的情况。

聊天机器人越多，问题越复杂

泰勒表示，反极端主义工具很可能采用混合模式，结合了经过训练、能对表现出极端主义迹象者作出回应的聊天机器人，以及转介至现实世界心理健康服务的功能。

"我们没有使用基础大语言模型的训练数据，"他解释道，这里指的是大语言模型平台用于生成连贯文本的通用数据集。"我们正在与正确的专家合作。"该技术目前正在测试中，但尚未设定发布日期。

"克赖斯特彻奇倡议"的反恐顾问加伦·兰菲尔-英格伦德表示，他希望将该产品推广给游戏论坛版主，以及希望甄别网络极端主义的家长和看护人使用。

昆士兰科技大学AI研究员亨利·弗雷泽认为，聊天机器人重定向工具是"一个良好且必要的构想，因为它认识到问题不仅在于内容本身，还在于关系动态。"

他表示，该产品的成功可能取决于"后续机制有多完善，以及它们引导人们去解决问题的组织结构和关系网络有多有效。"

泰勒称，包括是否向当局通报危险用户在内的后续功能仍有待确定，但会考虑任何可能引发行为升级的风险。

他指出，处于困境中的人往往会在网上分享他们羞于向他人启齿的事情。如果政府施压平台切断参与敏感对话的用户，反而可能加剧危险。

根据纽约大学斯特恩商业与人权中心2025年的一项研究，在执法压力下，平台对涉激进内容加强审核，已导致同情者转向Telegram等监管较少的替代平台。

"如果你向AI倾诉并透露危机，而它直接终止对话，没有人知道发生了什么，那个人可能仍然得不到任何支持，"泰勒说道。