“10月15日凌晨，上海外滩，一辆价值300万的法拉利跑车失控撞上护栏……”近日，有网民反映：在某资讯平台上，一条提纲都留着、AI还没编完整的假消息，已经公开发布。事实上，当天并没有这起车祸。

资讯平台上，为AI写的提纲都没有删除，AI生成的假消息已经发布了(截屏)

无独有偶，某社交平台上一条“在上海，记住浦东这栋楼，根本走不出来”的视频也被网友投诉——视频里的楼宇采用热门IP拉布布(Labubu)的造型，发布者煞有其事地介绍该楼宇所在地、交通方式等。可Labubu造型大楼属于AI生成的“一眼假”。有网友责问发布者：“假成这样良心不痛?”原来，发布者的目的是用AI制作的视频推销某家与图片完全无关的商铺。

有账号用AI生成假视频，为相关店铺引流(截屏)

一段时间以来，AI造假屡禁不止。虽然众多平台都要求发布者声明“含有AI生成”，但从结果看，仍有不少AI假消息试图博取眼球。

面对质量参差的AIGC(人工智能生成内容)，应该怎么办?

“用魔法打败魔法”

在业界，“用魔法(AI)打败魔法(AIGC)”的呼声越来越高。

调查发现，国内已经有不少企业致力于AIGC鉴别。不同企业的研究方向略有差异，形成了视频鉴别、图像鉴别、文本鉴别等差异化赛道，其中有部分成果已经落地应用。在实践中，用AI识别AI的准确度和效率都不低。

相关团队负责人解释，之所以能取得这样的结果，是因为AI生成或篡改的图像或视频存在肉眼无法辨别、但技术能一眼发现的瑕疵，包括像素差异、光线不合理、违背物理常识，等等。通过有的放矢地训练对应的鉴别大模型，能有效提高鉴鉴别率。

技术人员以文稿为例解释，这是因为“AIGC文本内容在宏观上流畅自然，但还是存在一些微观特征与人类写作不同。例如，生成模型在预测下一个词时，有其内在的概率分布偏好，更倾向于选择最安全、最高频的词汇组合，而人类写作可能会使用一些不常见但地道的表达。又比如，人类创作通常表现出更多的爆发性，即偶尔会使用一些意想不到的词汇，而AIGC文本内容缺少这种突变性。总的来说，可以借助AI来捕捉人类数据与AI生成内容的特征差异，鉴别AIGC文本内容。”

给AIGC鉴别更多关注度

业内人士表示，AIGC虽然降低了内容创作的门槛，却也导致互联网上低质量甚至误导性的内容快速增长，更有不法分子利用AIGC坑蒙拐骗。所以，要鼓励更多的企业投身于AIGC鉴别技术开发，也引导平台应用相关成果，从源头减少造假行为。

防止滥用AIGC并鼓励AIGC鉴别技术发展，需要整个生态一起努力。

一方面，对于AIGC的开发者来说，在训练模型时，要给模型加上坚固的安全护栏，保障模型输出内容安全可信。同时，在模型生成内容时，可以给生成内容加上看不见的“身份证”，方便后续进行生成内容溯源。

相关人士指出，AIGC鉴别属于“被动防御”，而这类“身份证”相当于“主动防御”策略。例如，目前已经有一种“半脆弱性数字水印”，就是在不破坏原有图像、视频内容的基础上，在人脸等重要表征上嵌入隐藏的、肉眼不可见的水印信息。图像或视频一旦被编辑修改，水印就会被破坏。使用数字水印检测器能很容易发现图像或视频是否进行过编辑，以及在哪里进行了编辑。

另一方面，社交媒体、视频网站、资讯平台等信息发布平台应当做好“守门人”，部署模型工具对平台上传播的内容进行检测识别，做好标签化处理。

比如，明确规范信息发布者按照“包含AI生成内容”“全部由AI生成”等给相关内容打上标签。同时，建立快速响应机制对明确利用AIGC进行欺诈、造谣等内容进行快速下架处置等。

此外，普通人可以尝试一些面向公众的AIGC鉴别工具来判断互联网上真假难辨的消息。专家建议：在无法从文本或图片的表现形式识别真伪时，可以用AI检测工具对内容进行初筛。然后，根据检测工具识别出的AI生成内容进行重点筛查。期间，可以用AI等新技术快速在权威媒体、官方通报、学术数据库等可信信源中进行交叉检索，验证内容的可信度。最终，综合以上结果来判断信息真伪。

总之，整个行业要不断建设完善AIGC治理的标准和法规。最终目标不是禁止AIGC，而是为这项新技术装上“安全阀”，让它更好地创造价值。

（来源：“上海网络辟谣”微信公众号）