今年十一期间，抖音、B站等平台大量涌现了“雷军AI配音” 的恶搞视频，给雷军我和小米造成了很大困惑。

　　在这些恶搞视频中，“雷军”锐评了堵车、假期等热门话题，还有一些不雅谩骂。一些恶搞短视频的播放量几天之内就达到上亿。对此，雷军我在10月底发布短视频回应称，但愿大伙都不能再玩了，“有网友投诉说国庆期间被我连续骂了7天，的确让我自己也挺困惑，让我挺不舒服的，这个事不太好。”

　　谈及上述事件，Gartner研究副总裁高挺告诉界面新闻，虚假信息本质还是虚构的信息，但它的危害在大模型时代被放大了。

　　在一位信息安全从业者看来，“雷军AI配音” 的恶搞视频变多，主要是外站一家AI公司在宣传其声音克隆功能。该类玩梗，公众知道是AI模仿，流传虚假信息的危险不大。平台在治理中的难点是，因为无法判断名人、明星针对这种网友玩梗是反对，还是出于营销目的乐见其成，在当事人明确提出赞同或反对的意见前，平台难以制定治理策略。

　　相比之下，新闻类的AI谣言往往造成的社会危害性更大。界面新闻搜索发现，类似的事情今年也屡次发生。

　　近期，一篇题为《山东大妈摆摊卖水果被罚16万，监管局回应不交罚145万，法院判了》的文章在微信公众号等平台流传非常广，也引发了很多网友的争议。但经相关部门核对，这篇文章系长沙一家MCN公司为了增加公众号的阅读量与公司收益，利用AI生成的内容来博眼球。在此之前，多个短视频平台还出现过利用AI编造“地震”“运钞车抢劫”等新闻，这些内容给云里雾里的网友造成了一定水平的恐慌。

　　对于生成式AI造成的虚假新闻，各个内容类平台都明确表示会进行打击。抖音安全中心相关责任人称，对于虚假信息，甭管是否由AI生成，一经发现平台均会严厉处置。同时，对于AI生成内容，在符合社区内容规则的条件下，抖音要求发布者对内容进行明显标识，帮助其它用户区分虚拟与现实，尤其是易混淆场景。

　　但据界面新闻了解，治理AI生成虚假新闻的难点在于面临很高的核验成本，平台很难完全以一己之力判断信息的可靠性，很多情境下需要监管职能部门介入，但相关信息在核验进程中已经进行了快速流传。

　　虚假信息给企业声誉和社会正常生活秩序造成不良影响之外，还造成了诸如“网络垂钓”，或“账户接管”等企业 网络安全 的影响。此前，行业中曾经发生过诈骗分子通过AI技术仿造一家能源公司总裁声音，诈骗该公司高管上百万元钱财的事。AI生成的音色、音调和口音都特别真切，造成这名高管压根没意识到是诈骗。

　　高挺表示，生成式AI造成了更高破坏性、更真切的攻击，这些攻击更难被人类识别和被传统技术阻止，会对企业造成更大的损失。

　　虚假信息生产成本越来越低，但不良影响却越来越显性，只通过以往的人工核验手段已经很难完全处理问题。上述技术安全专家表示，我们需要有更多新兴的技术去解决虚假信息治理的问题。有些人利用技术手段来制造虚假信息，技术安全专家就应该能够识别这些虚假信息的特征，通过技术手段与之对抗，真正从源头处理问题。

　　在信息安全领域，很多技术专家已经对虚假信息治理有了一点初步共识，并把“虚假信息安全”身为一个新的技术研究方向。

　　具体来讲，“虚假信息安全”包含了在信息流传中能够确保完整性、评估可靠性和防止冒充和追踪有害信息流传的一系列技术。背后的原理是，通过大语言模型来跟踪社交媒体上的内容，验证实时通信的完整性，确保第叁方媒体的可靠性等。

　　Gartner在其预测的2025年十大战略技术趋势中，把“虚假信息安全”列为重要的技术趋势之一。该机构认为，未来1到3年，“虚假信息安全”技术将会发生明显的商业收益。

　　从研究实践来看，一些技术被证明是有效的。加利福尼亚大学的一项研究表明，通过上下文标签向用户提供背景介绍、针对错误的解释和相关权威内容等细节信息，可以有助于减少虚假内容扩散。而Facebook、X等海外内容类平台正通过 人工智能 等技术手段，训练系统自动对海量信息进行检测和标记，以克服人工核查的局限性。这些研究和实践，对国内的内容类平台也有较强的借鉴意义。

　　而针对通过生成式AI造成的垂钓诈骗等诸多问题，企业和组织可以通过一套完整的技术解决方案来应对。界面新闻了解到，360、蚂蚁金服等许多家国内互联网公司已经在基于大模型研发解决方案，试图通过数据接入及解析、分析研判与溯源调查等行径识别出更多风险。