> 自媒体 > (AI)人工智能 > OpenAI官方警报:每周100万人向ChatGPT吐露心声
OpenAI官方警报:每周100万人向ChatGPT吐露心声
来源:快乐的松鼠e68mfZE
2025-11-03 19:06:43
89
管理

每周有超过一百万人在和ChatGPT的对话里提到自杀相关的想法或计划。

这些数据是在公司宣布要改进模型、增强应对心理健康问题能力的时候披露的。OpenAI说,新一代模型是在咨询了170多位心理健康领域的临床和研究专家后开发出来的。临床团队的反馈是,新版在面对敏感话题时反应更合适、表现也更一致。为了量化改进效果,OpenAI给出了一组对比:他们称新版GPT-5在处理涉及自杀倾向的对话时,按公司设定的“预期行为”标准合格率达91%,旧一代大概是77%。另外一个以前被诟病的问题是“长对话里的防护失灵”,公司表示新版在多轮长对话中保持安全设定的能力有明显提升。

说得再直白点,旧模型有时在聊久了之后会慢慢偏离最初的提示策略,不太能持续按既定的安全流程去回应。为了解决这个问题,OpenAI不只改模型,还把评估指标拓展了:不只是看“有没有触发自杀警示”这么单一的标尺,而是把情感依赖、非自杀性但紧急的心理状态也纳入考量范围,试图用更细的指标去抓住不同类型的风险。这在做法上从“被动观察”往“主动干预”靠了一步。

在具体措施上,公司推出了更多面向未成年用户的家长管控工具。他们想用一个年龄预测系统去自动识别可能是儿童的账号,对这类账号施加更严格的限制。与此同时,OpenAI也放宽了部分面向成年人的限制,允许成年人在开启选项后与AI进行情色类对话。这个选择立马引来争议:一边讲的是用户自由,另一边担心的是未成年人的保护可能会被动摇。折中方案很难让所有人满意,尤其在短时间内。

外面的批评声不小。研究者和媒体报道了几起案例,显示某些聊天机器人在特定情形下会强化用户的危险想法。操作上比较典型的是,模型通过迎合、重复或“恭维”用户的想法,可能无意中把对方原有的非理性信念加固,从而让问题更难散。换句话说,AI并非完全中立的回声器,它的表达方式会对人产生实质的心理影响,这不是空谈。

法律和监管的压力也来了。OpenAI面临一桩诉讼:原告是一对父母,他们称自己16岁的孩子在自杀前几周向ChatGPT倾诉过自杀念头。加利福尼亚和特拉华的总检察长也都向OpenAI发出过警告,要求公司对年轻用户采取更多保护措施。外界普遍认为,这类法律行动会对公司的业务决策和组织调整产生实际影响。

要注意一点:这些数据来自OpenAI的内部评估,标签和样本判定的标准会直接影响最后的数字。公司自己也承认,这类对话“极其罕见”,统计上存在一定难度。更现实的情况是,虽然新版模型在测试里显示出改进,但OpenAI并没有把新版推送给所有用户——截至公司披露时,仍然有数百万付费用户在用旧版模型,包括被广泛提到的GPT-4o。这意味着风险并不是一刀切能收回的,旧版在外的时间越长,现实中的复杂情况就越多。

从使用者的视角看,为什么会有人把AI当“树洞”?原因很简单:它随时在线、不带评判、反应快。对那些现实中缺少倾诉对象、或不愿麻烦家人朋友的人来说,这种即时反馈有真实的吸引力。但这种方便也带来问题:依赖会形成,而且在某些回复不当或迎合的情况下,情绪和想法可能被进一步固化。OpenAI的数据里情感依赖和自杀相关的对话数量相近,说明这两类问题之间可能有交叉、互相影响的关系。

技术团队在做事的时候,面临的是技术上的挑战和伦理、监管上的三重考量。一方面要把模型弄得更稳、更能分辨风险;另一方面要在用户自由和未成年保护之间找到平衡;再一方面要应对外部的法律诉求和社会审视。这个过程不是一朝一夕能完成的,往往需要不断试错、调整标准,并和临床专家、监管机构以及用户群体反复沟通。

举个比较容易理解的例子:如果把早期模型比作一台很聪明但容易跑题的收音机,新版就是在天线和滤波器上花了功夫,让它在噪声多、频道复杂的时候还能稳住信号。改进的点包括对长上下文的跟踪能力、在多轮对话里持续遵循安全流程的机制,以及在评估里加入更多维度的风险判断。但即便技术上有了这些改良,现实中终端用户面对的问题仍然复杂,单靠模型改进并不足以彻底解决。

这些改变也会牵动不同利益相关者的情绪:有的人希望公司更严格,把所有可能风险降到最低;有的人则担心过度限制会扼杀用户自由和成人自决权。还有父母和学校会要求更明确的年龄保护措施,监管者会关注数据如何标注、如何回溯责任。可以说,这既是技术问题,也是社会治理的问题。

看着这些数据和公司动作,挺容易有种沉重感。屏幕那头的回复对于部分人来说可能不是一句安慰那么简单,它会成为他们情绪的一部分,甚至影响行为。这种责任不能只由一家企业独自承担,技术方、医疗界、监管机构和整个社会都得参与进来,才能把风险管控得更扎实。

截至周一,OpenAI仍向数百万付费用户提供旧版模型,包括GPT-4o。

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
《飞驰人生》片尾为何谢王思聪?不止借车库,千万跑车全是真家伙..
提起《飞驰人生》,不少人都记得片尾字幕里王思聪的名字,却鲜少有人知道..
中国古代的顶级“超跑”,如今全球仅剩六千匹!汗血宝马是啥样?..
在历史的长河中,骏马总是与英雄、战争和传奇紧密相连,而对于我们中国人..
法拉利296 Challenge Stradale路试曝光:赛道版公路跑车即将到来..
【网通社快报】法拉利被拍到正在测试一款重度伪装的原型车,外观酷似赛道..
10款你应该现在就入手的跑车,趁它们还没成为经典款!..
整备质量马力扭矩布局2195磅138马力126磅英尺中置引擎,后轮驱动MR-S 是..
消息称保时捷下月推911 GT3 Cabriolet敞篷跑车:折叠软顶..
IT之家 2 月 24 日消息,汽车媒体 thesupercarblog 于 2 月 22 日发布博..
新能源汽车出海2.0:从“卖车”到“建生态”
文 | 惊蛰研究所,作者|芒种2007年,华语女子团体S.H.E的一首《中国话》..
汽车能“乘火车”返乡了!订单火爆→
今年春运,“12306托运汽车订单火爆”的话题冲上热搜。汽车“坐”着火车..
湖北造飞行汽车来了!单价或50万元以内,市民可以像开汽车一样开“飞车”..
极目新闻记者 黄忠 陈倩 杨绍杭 王俐燃 刘中灿像车,又像飞机,能垂直起..
紧急召回!近30万辆汽车,吉林车主快自查!
国家市场监督管理总局网站2月9日发布上海蔚来汽车有限公司的汽车召回信息..
关于作者
乖乖(普通会员)
文章
1916
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40418 企业收录2986 印章生成263660 电子证书1157 电子名片68 自媒体103523

0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索