AI技术飞速发展给每个领域造成的，既是一次来自新时代的重塑，也是一场空前绝后的挑战。
“在AI技术的加持下，我们发现网络谣言的发展显现出了一点新的特征。”在2月24日举办的今日头条“平台治理开放日”活动上，清华大学新闻与流传学院副教授陆洪磊表示，AI谣言在跨平台影响力、流传速度和真切性上都比传统谣言更具破坏性。
作为国内一大内容平台，面对“进化”中的虚假信息和低质内容，今日头条的拦截措施也在与时俱进。
“人工审核的投入会越来越少，因为头条上的发文量级巨大，纯靠人去审核是不会的，所以目前占比90%以上的审核通过机器来做。”今日头条安全运营责任人闫梦茹在接受《每日经济新闻》记者采访时表示，“但机器审核的准确率还不是100%，没有人工准确，需要人不断去校准机器、给它投喂更准确的样本去训练它。” 
图片来源：每经记者杨昕怡摄
“除了谣言这一‘老课题’，低质AI（内容）的治理是我们的一个新命题。”今日头条生态治理运营责任人韩雨桐表示，“在过去一年中，我们对于低质AI发文治理工作投入了大量的精力，包含但不限于不断升级、迭代AI低质模型的识别能力，收严低质AI内容治理标准等。”
记者在活动现场了解到，2024年，今日头条对超93万条低质AI内容进行了识别和管控；对近3万个利用AI批量发布虚假低质内容或恶意剽窃、洗稿他人的账号进行了处罚；站内用户对AI相关的负向反馈声量，从年初的每天近28条降低至当前的每天1到2条。
“90%以上的审核通过机器”，今日头条“用魔法打败魔法”
AI时代的信息爆炸中，虚假信息和低质内容的泛滥为内容平台治理设下了重重难关。
首先在低质量的同质化内容治理上，闫梦茹指出，近年来AI技术快速发展，大模型能力迭代快、效果好。虽然提高了创作者的写作效率，但也降低了低质内容的洗稿成本。并且，现在市场上出现了很多专业化洗稿工具，可以支持绑定账号批量提供AI文章，还可以招聘兼职人员批量复制发文。
她表示，相比其它平台，今日头条在时政、历史等领域内容的用户更多，“因此我们的治理难度也会更大”。
对于同质化内容的发现和识别方式，闫梦茹介绍，今日头条内部有巡查团队，实时巡查站内高风险的同质化内容。其次，内部会通过模型识别和人工评估相结合的形式，对同质化内容进行二次与综合判定和评估，以确保准确性。
“在坚持AI低质内容治理层面，目前经常使用的行径实际就是在拿AI去对抗AI。”陆洪磊提出了三点治理建议，分别是迭代、加强机器识别能力，强化人工审核能力和上线“AI创作标签”来帮助用户鉴别AI内容，保持理性思考。
对此，闫梦茹表示，目前今日头条在人工审核的投入会越来越少，“占比90%以上的审核通过机器来做”。“但机器审核有毛病，准确率还不是100%，没有人工准确，需要人不断去校准机器、给它投喂更准确的样本去训练它。”
她向记者表示，内部在内容治理上运用了多个不同类别的模型。“好比在处理虚假内容问题上，可能有大大小小几十个模型，每个效果都不太一样，最好的（模型）在‘实锤’谣言上的准确率有100%。”
同时，韩雨桐介绍，对于虚假谣言，今日头条早已建立起三大核心治理能力，包含谣言库、权威信源库和专业审核团队。
她还指出，今日头条于2024年在发文下方增加权威媒体透露来源标签，在保障资讯可靠性的条件上，为用户提供了更多客观视角。
记者了解到，2024年，今日头条累计拦截不实信息超500万条，封禁诽谤、传谣等违规账号4.77万个；平台去年全年还拦截和处置涉嫌诈骗内容超200万条，禁封涉嫌诈骗账号17.85万个，配合警方逮捕87人。
“认知战争”面前，内容平台如何获得主动权？
“我们正面临一场空前绝后的认知战争。”在陆洪磊看来，过去的谣言是一种隐蔽的、分散的公众情绪，而网络时代的谣言往往具备新闻性、说服性、非官方性和强流传性。“新的AI谣言将越来越迫近真话，专业媒体人可能都要进行实时核查才能判断这个消息是不是真实的，它的破坏性将成倍增加。”
例如，今年1月西藏 日喀则市 定日县 突发6.8级地震后，一张废墟中被埋儿童的相片在社交平台热传，引发公众关切。而后经查证，该图实为2024年11月某创作者标注的AI生成作品，被部分自媒体盗用并打上地震相关标签博取流量。
另外，清华大学新闻与流传学院新媒体研究中心在2024年4月发布的一份研究报告显示，近一年来，经济与企业类AI谣言量增速达99.91%。
在开放日现场，北京师范大学法学院院长、教授梁迎修表示，对于AI虚假谣言，网络平台要积极承担社会责任，重视内容整治，同时政府机构、媒体、公众等更应加强协同，网络谣言治理需要多方综合施策。
“一方面我们要去打击、消灭假的信息，另一方面也希望用平台的力量去主动流传真实的信息。”今日头条内容策划责任人刘姗姗在开放日现场谈及了《头条讲真的》项目的开办初衷。
记者了解到，自2023年以来，今日头条推出了《头条讲真的》项目。该项目以“流传真实信息”为宗旨，把“硬核科普”作为主要流传方向，平台联合医学、财经、法律等领域专业创作者，为用户进行辟谣、反诈宣传。截至2024年，《头条讲真的》发布科普、辟谣等主题视频在全网话题讨论量已超36亿。
“在合作创作者的决策上，我们肯定会选择在今日头条上有账号、比较活跃、平台数据也比较好的创作者。另外，跟作者沟通进程中，我们也会不断传达平台对于治理的决心，让创作者能够在创作进程中融入更多今日头条的信息内容，和今日头条如何做科普辟谣等。”刘姗姗向记者表示，“从调研的数据中发现，通过一系列合作，用户会看到今日头条官方‘下场了’，和科普创作者一起进行内容输出，用户能明显认知到这个内容是今日头条身为一个主体参与其中的。”
