AI虚假信息带来的困扰为何越来越严重了？

图片来源：界面新闻

界面新闻记者 | 肖芳

界面新闻编辑 | 宋佳楠

今年 十一 期间 ， 抖音 、B 站等 平台 大量 涌现 了“雷军 AI 配音”的恶搞视频 ， 给雷军 本人 和小米 带来 了很大 困扰。

在 这些 恶搞 视频 中，“雷军”锐评了堵车、假期等热门话题，还有一些不雅谩骂。一些 恶搞 短视频 的播放量 几天 之内 就达到 上亿 。对此，雷军 本人 在10月 底发布 短视频 回应 称，希望大家都不要再玩了，“有网友投诉说国庆期间被我连续骂了 7 天，的确让我自己也挺困扰，让我挺不舒服的，这个事不太好。”

谈及上述事件，Gartner 研究副总裁高挺 告诉 界面 新闻 ， 虚假信息本质上还是伪造的信息，但它的危害在大模型时代被放大了。

在一位 信息 安全 从业者 看来 ，“ 雷军 AI 配音”的 恶搞 视频 变多，主要是外站一家 AI 公司在宣传其声音克隆功能。这类玩梗，公众知道是 AI 模仿，传播虚假信息的风险不大。平台在治理中的难点是，因为无法判断名人、明星对于这种网友玩梗是反对，还是出于营销目的乐见其成，在当事人明确提出赞同或反对的意见前，平台难以制定治理策略。

相比之下 ，新闻 类的 AI 谣言 往往 带来 的社会危害性 更大。界面 新闻 搜索 发现 ， 类似 的事件 今年 也多次 发生。

近期 ， 一篇 题为 《山东大妈摆摊卖水果被罚 16 万，监管局回应不交罚 145 万，法院判了》 的文章 在微信 公众号 等平台 流传 非常 广，也 引发 了很多 网友 的争论 。 但经 有关 部门 核实 ， 这篇 文章 系长沙 一家 MCN 公司 为了 增加公众号的阅读量与公司收益 ， 利用 AI 生成 的内容 来博眼球 。 在此 之前 ， 多个 短视频 平台 还出现 过利用 AI 编造 “ 地震 ”“ 运钞车 抢劫 ” 等新闻 ， 这些 内容 给不明真相 的网友 带来 了一定 程度 的恐慌。

对于生成式 AI 带来 的虚假新闻，各个 内容 类平台都 明确表示会进行打击 。 抖音安全中心相关负责人称，对于虚假信息，无论是否由 AI 生成，一经发现平台均会严厉处置。同时，对于 AI 生成内容，在符合社区内容规则的前提下，抖音要求发布者对内容进行显著标识，帮助其他用户区分虚拟与现实，特别是易混淆场景。

但据 界面 新闻 了解 ， 治理 AI 生成 虚假 新闻 的难点在于面临很高的核验成本，平台很难完全以 一己 之力 判断 信息 的真实性，很多情况 下需要 监管部门 介入，但 相关 信息 在核验 过程 中已经 进行 了快速 传播。

虚假 信息 给企业声誉以及 社会 正常 生活 秩序造成 负面 影响 之外 ， 还带来 了诸如 “网络钓鱼”，或者“账户接管” 等企业 网络 安全 的影响。此前 ， 行业中 曾经 发生 过诈骗分子 通过 AI 技术仿造 一家 能源 公司 CEO 声音，诈骗 该公司 高管 上百万元 钱财 的事 。AI 生成 的音色、音调和口音都非常 逼真 ， 导致 这名 高管 根本 没意识到 是诈骗。

高挺 表示 ， 生成式 AI 导致了更高破坏性、更逼真的攻击，这些攻击更难被人类识别以及被传统技术阻止，会对企业造成更大的损失。

虚假信息生产成本越来越低，但 负面 影响却 越来越 显性 ， 只通过 传统 的人工 核验 手段 已经 很难 完全 解决 问题 。 上述 技术 安全 专家 表示 ， 我们需要有更多新兴的技术去解决 虚假 信息 治理 的问题 。 有些人 利用 技术 手段 来制造 虚假 信息 ， 技术 安全 专家 就应该 能够 识别 这些 虚假 信息 的特征 ， 通过 技术 手段 与之 对抗 ， 真正 从源头 解决 问题。

在 信息 安全 领域 ， 很多 技术 专家 已经 对虚假信息 治理 有了 一些 初步 共识 ， 并把 “虚假信息安全” 作为 一个 新的 技术 研究 方向。

具体 来讲 ，“虚假信息安全” 包含 了在信息传播中能够 确保 完整性 、 评估 真实性 以及防止冒充和追踪有害信息传播的一系列技术。背后 的原理 是，通过 大语言模型 来跟踪社交媒体上的内容 ， 验证实时通信的完整性，确保第三方媒体的真实性 等。

Gartner在其预测的 2 025 年 十大战略技术趋势 中，把 “虚假信息安全” 列为 重要 的技术 趋势 之一 。该机构 认为 ， 未来 1 到3 年，“虚假信息安全”技术 将会 产生 明显 的商业收益。

从研究实践 来看 ， 一些 技术 被证明 是有效 的。加利福尼亚大学的一项研究表明 ， 通过 上下文标签向用户提供背景介绍、针对错误的解释以及相关权威内容等细节信息 ， 可以 有助于 减少 虚假 内容 扩散 。 而Facebook、X等海外内容 类平台 正通过人工智能等技术手段，训练系统自动对海量信息进行检测和标记，以克服人工核查的局限性 。 这些 研究 和实践 ， 对国内 的内容 类平台 也有 较强 的借鉴 意义。

而 针对 通过 生成式 AI 带来 的钓鱼 诈骗 等问题 ， 企业和组织可以 通过 一套 完整 的技术解决 方案 来应对 。 界面 新闻 了解到 ，360、 蚂蚁金服 等多家 国内 互联网 公司 已经 在基于 大模型 研发 解决 方案 ，试图通过 数据接入及解析、分析研判与溯源调查 等手段 识别 出更多 风险。