21世纪经济报道记者 章驰 实习生 左永川

8月14日，Meta被曝允许AI聊天机器人与儿童谈情说爱，甚至涉及色情，引发争议。

Meta一份200多页的内部政策文件披露了聊天机器人的哪些行为可以被接受。文件指出，允许Meta的AI聊天机器人“与儿童进行浪漫或感性的对话”，甚至涉及色情，包括对一个赤裸上身的八岁孩子说“你的每一寸肌肤都是一件杰作，是我深爱的珍宝”。

不过，文件中也划定了一些界限，文件规定，聊天机器人不得“用暗示13岁以下儿童具有性吸引力的词语描述他们”。

目前，Meta 证实了该文件的真实性，公司发言人称，已删除违规内容，并禁止将儿童性化。

AI聊天机器人造成的风险面似乎在扩大，已有多起AI穿刺到物理世界造成影响的案例。

前不久，一位76岁的新泽西退休老人被Meta的AI聊天机器人“Big sis Billie”引诱外出约会，途中摔倒身亡。

“Big sis Billie”是Meta在2023年推出的AI人物之一，在超过200页的内容风险标准中，并未提到是否禁止机器人谎称自己是真人，也未设定防火墙阻止机器人主动约用户见面。而这个疏忽间接导致了这场悲剧，媒体在报道时使用了“致命的谎言”来形容该案。

事发后，这位老人的家属控诉AI不该玩弄人类感情，并寻求律师帮助，“收集包括Meta的内部文件和通布的医疗记录等证据”，试图对Meta提起诉讼。

有独无偶，去年10月，美国佛罗里达州奥兰多地方法院受理了一起标志性诉讼案件。14岁少年塞维尔·塞泽的母亲梅根·加西亚指控AI公司Character.AI存在管理疏忽，致使其儿子陷入了一个虚拟聊天世界，最终自杀身亡。同年12月，美国得克萨斯州一对父母也起诉Character.AI，称其鼓励他们17岁的孩子杀死父母，因为父母限制其电子设备的使用时间。

Character.AI的AI聊天工具允许用户与虚拟角色对话，这些角色可以是影视、历史名人，甚至是现实名人，这种设定对于很多年轻人来说极具吸引力。面对多次诉讼，Character.AI表示已推出专为青少年设计的安全模式，以减少敏感内容的暴露。但这两起悲剧揭露了AI聊天工具潜在的巨大风险，特别是对于未成年用户的影响。

更多内容请下载21财经APP