悉尼,澳洲 – 在 ChatGPT 上显示暴力极端主义倾向的人将被引导至基于人工和聊天机器人的去激进化支持,这是新西兰正在开发的一项新工具,其背后的团队表示。
这项倡议是在面对越来越多指控 AI 公司未能阻止甚至助长暴力行为的诉讼时,解决安全问题的最新尝试。
OpenAI 在2月份透露一名实施致命校园枪击案的人员在未通知当局的情况下被该平台封禁后,遭到加拿大政府的干预威胁。
ThroughLine 是一家近年来受雇于 ChatGPT 所有者 OpenAI 以及竞争对手 Anthropic 和 Google 的初创公司,当用户被标记为有自残、家庭暴力或饮食失调风险时,将用户重新引导至危机支援服务。该公司创办人兼前青年工作者 Elliot Taylor 表示,公司也在探索扩大服务范围的方法,包括预防暴力极端主义。
这位前青年工作者表示,该公司正在与克赖斯特彻奇呼吁组织进行讨论,该倡议是在新西兰2019年最严重的恐怖袭击后成立的,旨在消除网络仇恨。这将涉及反极端主义团体提供指导,而 ThroughLine 则开发干预聊天机器人。
"这是我们希望朝着这个方向努力,并做得更好,然后能够更好地支持平台," Taylor 在采访中说道,并补充说尚未设定时间表。
OpenAI 确认了与 ThroughLine 的合作关系,但拒绝进一步置评。Anthropic 和 Google 没有立即回应置评请求。
Taylor 的公司从他在新西兰乡村的家中运营,凭借其在180个国家提供1,600条不断检查的求助热线网络,已成为 AI 公司的首选。
一旦 AI 检测到潜在心理健康危机的迹象,它会将用户引导至 ThroughLine,后者将他们与附近可用的人工服务匹配。
但创办人表示,ThroughLine 的范围一直局限于特定类别。随着 AI 聊天机器人的普及,人们在网上披露的心理健康问题范围急剧扩大,现在包括与极端主义的接触,他补充道。
Taylor 表示,反极端主义工具可能是一种混合模式,结合经过训练的聊天机器人来回应显示极端主义迹象的人,以及转介到现实世界的心理健康服务。
"我们不使用基础大型语言模型的训练数据," 他说,指的是大型语言模型平台用于形成连贯文本的通用数据集。"我们正在与正确的专家合作。" 该技术目前正在测试中,但尚未设定发布日期。
代表克赖斯特彻奇呼吁组织的反恐顾问 Galen Lamphere-Englund 表示,他希望为游戏论坛的版主以及希望消除网络极端主义的父母和照顾者推出该产品。
昆士兰科技大学的 AI 研究员 Henry Fraser 表示,聊天机器人重新引导工具是"一个好的且必要的想法,因为它认识到问题不仅仅是内容,还有关系动态。"
他说,该产品的成功可能取决于"后续机制有多好,以及他们引导人们进入的结构和关系在解决问题方面有多好。"
Taylor 表示,后续功能,包括可能向当局发出有关危险用户的警报,仍有待确定,但会考虑到任何可能引发行为升级的风险。
他说,处于困境中的人倾向于在网上分享他们不好意思向他人说的事情,如果政府向平台施压,切断参与敏感对话的用户,可能会加剧危险。
根据纽约大学斯特恩商业与人权中心2025年的一项研究,在执法部门压力下,平台加强了与激进主义相关的审核,导致支持者转向像 Telegram 这样监管较少的替代平台。
"如果你与 AI 交谈并披露危机,而它关闭了对话,没有人知道发生了什么,那个人可能仍然得不到支持," Taylor 说。– Rappler.com


