随着 人工智能 （AI）大模型火爆全网，内容生成形态已然发生了推翻性的变革，一些挑战与风险也随之而来。
一份由头豹研究院2月26日发布的《从DeepSeek现象到信息治理革命：共建数字时代清朗空间》（下称《报告》）微报告称，“AI技术进步在提升生产效率的同时，也造成了信息过载严重、模型偏见加剧、逻辑自证陷阱等风险”。通俗来讲，一旦媒体、券商、咨询机构等使用AI大模型生成了虚假或错误内容，不仅会严重削弱公众对结果可靠性的信任，还会引发资本市场波动，并且低成本的内容生成模式已对 数据中心 、芯片厂商等传统产业链发生冲击。
其实，中央网信办也在最近发布了2025年“清朗”系列专项行动整治重点并明确提出，要“整治‘自媒体’发布不实信息、整治AI技术滥用乱象”。那么，政府、企业、公众等各方主体正在面对的AI大模型“幻觉”问题应如何解决？
直面“幻觉”
《报告》中提到的“信息过载严重”，在于AI大模型会将各种来源和立场的内容混杂在一起，而公众难以在海量信息中迅速鉴别信息的权威与否和真伪。
另外，AI大模型会出现“模型偏见加剧”，即由于训练进程中的潜在偏见和错误被放大所造成生成内容出现事实偏差和扭曲，如生成女性图片形象时倾向于输出过度性感化的效果，或将某些职业与特定性别高度关联。而“逻辑自证陷阱”则指AI大模型能通过看似严谨的论证构建出看似正确的内容结果。
《报告》撰写方、头豹联合开创人兼总裁王晨晖对记者表示，AI大模型一旦生成了虚假或错误内容，会对“内容生态”和公众发生一系列严重影响。现有的内容生态包含以往的媒体和新闻机构（如报纸、电视台、网站等），券商、研究咨询机构、投行等，和自媒体、网民个人和利用AI技术生成和流传内容的各类平台和个人。错误和虚假内容的泛滥会破坏整个信息生态的健康发展。
如何应对？为此，王晨晖建议，首先在内容生产阶段，内容创作务必依赖专业团队或具备高度专业性的机构进行严格把关，确保内容的专业性、准确性和可靠性。尤其是在资本市场、公共健康、法律法规等领域，内容的准确性极为重要，避免任何不合格的信息流入互联网生态，造成误导性流传。
其次，内容发布平台需建立完善的溯源审查机制，确保每一条信息都能追溯到其源头，尤其对于AI生成内容（AIGC），要建立系统化的可靠性和时效性审查标准。这一标准应覆盖从创作、编辑、审核到发布的每一个环节，并对内容的来源进行严格核查，确保信息的可靠性、无偏性和合法合规性。
另外，在内容流入市场后，若虚假信息仍旧存在，网安公司与AI搜索引擎平台需巩固合作，建立强有力的防火墙和知识库。通过AI技术与人工审核相结合，对信息进行实时监控、分类和过滤，确保最终传递给用户的是经过验证、具有高价值的信息。
在中国数实融合50人论坛副秘书长胡麒牧看来，虽然AI大模型之所以会生成虚假或错误内容与模型训练相关，但本质还是语料输入的问题。
胡麒牧解释，一方面，现有的一些通用大模型在进行训练时，其输入的语料其实其实不是专业数据而是公共数据，这是因为专业数据通常都在企业内部形成，属于企业的核心竞争力，除非企业本地化部署AI大模型，不然不会对通用大模型开放。另一方面，一些通用大模型目前通过公域渠道拿到的数据里，英文语料很多，中文语料非常少、有的甚至不足1%。而优质AI大模型的练习有赖于丰富的优质语料和算法的迭代。
找到最优解
避免AI大模型发生“幻觉”，业内有最优解么？
上海 人工智能 研究院算法专家陆文韬对记者表示，为了能有效避免AI大模型生成错误结果、发生“幻觉”，从技术实现角度应该注意三个方面问题。
第壹，确保训练数据的高质量和多样性极为重要。训练数据应做到标注来源、时效性和引用链，使用准确、权威的数据源，避免偏见和错误信息的引入。另外，建立行业共享的“幻觉”黑名单库，杜绝使用可能会发生“幻觉”的内容。
第贰，是调整模型架构与训练策略。可以采用“预训练+强化学习+人类反馈”的混合范式，例如通过人工标注数据迭代奖励模型（Reward Model），约束生成界限。对于金融、医疗等领域，强制调用监管认证的知识库，减少自由生成风险。对于高风险领域生成内容需附加置信度评分与溯源标识。
第叁，完善实时监控与反馈机制。在AI大模型部署后，需要建立实时监控系统，检测并纠正潜在的错误输出，使用多模态交叉验证（如文本与权威数据库比对）。通过用户反馈，不断完善模型的性能和可靠性，动态修正模型输出。
进一步来看，怎样在不抑制行业发展（开放专业性较强的语料）的同时，也保护好行业的核心技术和数据？
胡麒牧表示，行业、企业毋庸置疑掌握着优质语料，但这一方面在于企业要主动、愿意去训练自己专有的AI大模型，或通过接入Deepseek等训练AI大模型并提供背后的服务。另一方面，要让企业拿出专业语料库，一些数据流通和交易机制（如补偿机制等）必不可少，“要让企业认为，开放专业语料库后，市场给他们所造成的 利润是要远大于数据公开所造成的行业壁垒降低风险。”
陆文韬对记者表示，未来，如何平衡语料价值挖掘与技术秘密保护之间的关系是重点，“行业、企业需重点关注 数据安全 技术与合规机制并行推进。”
陆文韬表示，数据脱敏与加密、可信数据生态构建、合规工具链完善等方法都值得行业、企业在实操进程中借鉴。好比，数据脱敏与加密方面，企业可以采用联邦学习实现“数据可用不可见”，企业仅共享模型参数和梯度，确保原始数据不外泄...。
再如，可信数据生态构建方面，利用 区块链 技术进行语料共享存证，确保 数据确权 与溯源等。合规工具链完善方面，企业则可以部署自动敏感信息过滤系统，利用自然语言处理（NER）模型屏蔽敏感数据，企业同时还制定智能合约来约束数据的使用范围。
有效监管
上述《报告》称，随着信息生态复杂度不断提升，单一的管理和监管手段已难以应对虚假信息的广泛流传。 网络安全 公司可以与AI技术强强联手，构建起从语料生成、联网引用、知识库构建到最终内容输出的全链条监控体系。
全链条监控体系是否可实现，具体如何做？为此，胡麒牧表示，AI大模型会在接收专业语料输入的同时，通过不断地纠偏、调整来达到一个安全“域值”，低于安全“域值”的模型就需要警惕其可能生成虚假或错误内容。目前，监管职能部门在全流程、全链条对AI大模型进行监控还不太现实，但可以通过了解或识别安全“域值”来提前预判可能会发生风险。
“不过，尽管了解或识别了安全‘域值’，监管职能部门也无法真正能够理清楚哪些语料是真实的，哪些语料是不存在的。这些领域就涉及了道德风险，属于市场失灵的范畴。”胡麒牧称，对于存在道德风险的语料输入者，其实未来也可以通过打标签、人工复核的形式去处理，“但总的而言，现阶段，对于内容生态中的主体，建议可以用AI大模型来生成初稿，再进行人工校对和校验是比较稳妥的。”
陆文韬则从技术层面给出建议称，制度与技术需要协同。好比，建立白名单知识库；在金融、医疗等领域强制调用权威知识库（如国家药监局数据库），确保信息的准确性和可靠性。再好比，进行跨境数据审查；对跨境数据实施语义分析与IP溯源审查，拦截可能引发地缘误导的信息。
“国际上已经有相关案例供我们参考。欧盟《数字服务法案》已要求平台部署全链条监控体系，以应对虚假信息流传等许多问题。Twitter(现为X平台)也通过生成标记+流传限流的技术组合，明显提升了虚假信息的拦截效率。”陆文韬补充。
王晨晖也呼吁，需要跨行业的协作，“只有通过这些多条理、全面的防控机制，共同构建起一个坚固的内容监管链条，从源头到终端确保内容的质量和可信度，才能推动AI时代内容的普惠化生产，增进信息生态的健康发展。”
