【索辰科技】AI换脸拟声、AI深度伪造等乱象丛生，代表委员们献言-AI治理-

　　2025年全国两会期间， 人工智能 再次成为代表委员们关注和调研的热点话题。

　　随同着 人工智能 技术快速进步和广泛应用，给人们的生活和工作造成了诸多便利，大幅提升了生产力。然而，在硬币的另一面，AI技术的不妥使用或滥用，也会给人们造成困惑。

　　如今， 人工智能 生成文字、图片、声音、视频的制作门槛大幅下降，仅需要一部智能手机，使用 人工智能 生成内容的相关App，就可以进行AI换脸、AI配音，或仅仅依靠一段话，就可以生成一段全新的视频内容。然而，一些 人工智能 生成的内容“以假乱真”，若不妥使用，有可能损害他人利益，甚至破坏公共利益和社会秩序。

　　两会期间，多位人大代表、政协委员针对AI滥用的乱象建言献策。

　　雷军以亲身体验谈“AI换脸拟声”

　　据央视新闻，3月4日，全国人大代表雷军接受央视采访时表示，“AI技术发展以后，AI换脸，AI拟声在互联网上已经成了重灾区，我我也是主要的受害者，呼吁尽快立法重点整治”。

　　去年国庆期间，网络上流传着用AI生成的“雷军语音包”，内容包含恶搞的骂人内容。对此，雷军我曾通过视频回应这一事件，在肯定AI技术进步迅速的同时，雷军也表示“的确让自己也挺困惑，也挺不舒服的，在这里但愿大家不能再玩了，这事不太好。”

　　今年两会，雷军造成了关于加强治理“AI换脸拟声”违法侵权重灾区的相关建议。他表示， 人工智能 渗透到千行百业，但“AI换脸拟声”的不妥滥用也成了违法侵权行为的重灾区。AI深度合成技术所需素材获取便利、技术使用门槛低、侵权主体及其手段隐蔽性强等特点，给治理整治造成较大挑战。

　　对此，雷军提出三点建议，一是针对“AI换脸拟声”等某一代表性问题，探索推出 人工智能 单行法，提高立法位阶及其效力，分级分类的条件上进行务实治理，明确“AI换脸拟声”应用界限红线，完善侵权证据规则，加大对利用 人工智能 技术实施犯罪表现的刑事处罚力度。

　　二是强化行业自律共治，压实平台等各方的责任。支持平台企业开发可精准识别 人工智能 深度合成内容的技术能力，优化升级通信软件和内容平台巡查审核机制、投诉举报机制、应急处理机制，确保及时阻断问题内容流传。

　　三是建议加强 人工智能 方面的法制宣传教育，增强民众的警惕性和鉴别力，聚焦重点人群，在中小学 人工智能 教材中加入伦理规范内容，深入老年人聚居的社区开展相关知识普及活动，在全社会夯实“以人为本、智能向善”的 人工智能 发展生态。

　　加强AI深度伪造欺诈管理

　　在短视频平台、社交媒体平台上，利用AI深度合成视频博取流量或带货的案例防不胜防，其中明星群体是受影响的重灾区。

　　据媒体透露，此前就曾有网友曾利用AI制作的刘德华声音，为自己博取流量，刘德华电影公司曾紧急发布声明提醒网民，不要落入伪造刘德华声音的AI语音合成技术骗局。

　　记者了解到，近期，电影《哪吒2》在国外市场热映，有营销账号通过视频素材拼凑和AI伪造视频，称“刘德华自掏腰包助力票房冲击200亿”。另外，有账号名为“晓庆人生”的视频号利用AI生成了诸多演员刘晓庆的视频内容，刘晓庆在微博上转发回应：“画面是我，声音很像我，但不是我！”

　　“AI技术降低了视频合成和制作的门槛，使得虚假内容的生成变得容易。网络上出现的各类AI生成视频中，有些是模仿明星或专家的光辉形象和声音进行流传，有些则是虚构人设，用于推销产品，诱导消费者购买不必要的商品，造成财产损失，甚至发生信任危机。还有些视频通过流量变现的形式去获取利益，加剧乱象。”全国人大代表、 美的集团 副总裁兼首席财务官钟铮接受媒体采访时表示。

　　对于生成式 人工智能 视频流传管理，钟铮建议完善法律法规体系、加强行业自律与政府监管，除此之外，她还提出依托技术赋能来提升审核能力，可以利用AI技术审核AI合成的视频内容，投入更多资源开发高效的AI审核工具，并结合人工审核，通过双重校验提高识别准确率。

　　全国人大代表、TCL开创人李东生亦表示，随着生成式 人工智能 技术的发展，深度伪造技术也快速发展。要规范对于这一新兴技术的不妥利用，有必要要求深度合成服务提供商对 人工智能 生成的内容进行强制标识，减少恶意滥用，并有助于厘清责任、对违法犯罪表现追究责任。近年来，我国相关立法虽有关注这一议题，但已出台的规章制度尚不成体系，还不具备可操作的细则和明确的处罚标准。

　　在关于加强AI深度伪造欺诈管理的建议中，李东生提出建议，一、加快 人工智能 深度合成内容标识管理规章制度的出台。二、明确对 人工智能 深度合成服务商未履行标识义务的责罚制度。完善对深度合成内容服务提供商未按要求进行标识的表现界定、分类细则，和相应的处罚标准。三、加强深度合成内容标识技术标准和发布的管理。出台深度合成内容标识的技术标准，保证标识的有效性；另外，对相关内容平台出台要求，用户在发布深度合成的视频、音频等内容时，有义务对其进行标识。四、加强国际合作，形成 人工智能 生成合成内容的有效监管。