最近，美国OpenAI公司发布的首个视频生成模型“Sora”给国内外信息产业造成震撼影响，同时也引发了人们对生成式AI技术被用于深度伪造内容，可能加剧错误和虚假信息流传的担忧。在生成式AI技术迅速发展的当下，伪造视频、图片、语音用于不法目的的表现时有报道。已经有多家媒体透露称，生成式AI技术已经被用于深度伪造领域，并被用于误导选民、干扰选举、抹黑名人、诽谤诽谤、电信诈骗、色情敲诈等不法行为中。
当前，国内外生成式AI技术快速发展，从事该领域研究、开发、应用的新生企业如漫山遍野般涌现，AI手机的开发更是热火朝天。需要看到的是，生成式AI技术的快速发展具有两面性。一是该技术有创造性，能为影视制作、文娱创作、游戏制作、音乐工业等提供全新生产力，增进文化产业繁华发展；另一是该技术具有破坏性，能快速廉价地实现以假乱真、移花接木、无中生有等特定诉求，为非法分子大开方便之门。
如能有效限制生成式AI技术的破坏性，更能有益于生成式AI技术的创造性施展，在保障这一新生事物行稳致远的同时，也能够使之成为国家经济增长中的新质生产力之一。为此，笔者建议从多个条理扎牢防范风险的篱笆。
在生成式AI大模型的开发进程中，监管机构应督促相关上市公司尽快设立两类审查制度，切实管控好底层代码和训练样本。
一类审查用于生成式AI大模型的底层代码。对于从事生成式AI大模型的开发型公司，应在内部建立起对底层代码审查制度，其底层代码对监管机构及内部审查机构透明化可查询，鼓励头部开发企业在底层代码开源可见、主动对外披露方面多做工作。
一类审查用于生成式AI大模型的样本训练环节。对于从事生成式AI大模型的练习型公司，应在内部建立对训练样本审查制度，其训练样本的来源、脱敏、数据清洗等关键环节应设置检查点，从而避免敏感信息、个人信息被用于样本训练，进而生成深度伪造内容。
在生成式AI大模型的安置及应用进程中，应尽快建立实名认证制度和指令鉴别机制。
通过建立实名认证制度，可确保安置在个人计算机、服务器、手机、智能移动终端的生成式AI大模型客户端与用户实名捆绑，确定生成式AI大模型的指令发出人、指令接受人、内容流向清晰可见，在内容生成流程上实现可追溯、可监控、可预防。
通过建立指令鉴别机制，可在生成式AI大模型的顾客端就及时拒绝并剔除非法指令，提前鉴别出有明显违法倾向性的提示词指令，从而预防生成式AI大模型被用于深度虚构的不法目的。
在生成式AI大模型的内容流传进程中，应建立标签提示机制。标签提示机制应安排在视频、图片、语音等关键位置上，提示受众注意相关内容由生成式AI提供，确保受众能分辨诞生成式AI大模型的内容，避免出现视听混淆、错误理解等。
对于生成式AI大模型的开发企业、发布商、硬件生产商及主要受众群体应给予全面覆盖的警示教育。监管机构应警惕生成式AI技术被用于深度伪造内容后，发生“诽谤、信谣、传谣”的连锁反应，在网络终端提前构建快速反应的舆情监控系统，确保实现“贪污腐化非法勾当做不得，以假乱真的内容信不得，混淆视听的消息传不得”的理念深入人心。
对于银行网点、快递收发、电商、短视频、直播等频繁内容流传环节，应督促相关上市公司根据分区负责、统一责任、统一管理的形式，安排专人宣讲防范手段、危害重点和典型案例，营造全民防范深度虚构的社会氛围。
