最近，公安部公布依法打击“网络水军”违法犯罪典型案例，其中，广州公安机关网安部门查明，叶某某等人为赚取网络平台流量收益，招募兼职人员注册自媒体账号，利用 人工智能 工具改写热门文章，批量发布虚假信息，累计发布引流图文信息50万篇。广州公安机关已抓获犯罪嫌疑人6名。
AI的应用范围和使用群体日益广泛，有人用于增进工作和学习效率，也有人用于非法牟利，典型行为包含合成和散布不实信息；合成公众人物形象进行带货、代言等。不久前，张文宏、黄百鸣等公众人物的光辉形象、声音被AI合成，在未经允许的情景下被用于带货、代言，也有人用AI合成演员“靳东”的光辉形象用作网络诈骗，甚至于东来、雷军等企业老总也成为受害者。
网络上的信息真假混杂，该类信息能发生恶劣影响的原因之一在于其明显的负面性。重庆警方日前公布5起运用AI工具诽谤的典型案例，其中包含“某服务点遭暴力袭击”“某地一银行遭劫匪袭击”“北方一城市某工厂被大风夷为平地，多人死伤”等。好事不出门，坏事传千里，不论是真新闻还是AI谣言都逃不出这个规律。而非法分子也正是利用这一心理，制造该类有关公共利益、焦点议题、暴力色情的谣言，准确击中网民的恐惧和共鸣，进一步转化为流量利益为己所用。
另外一个突出特点是借助“权威”，这也是AI时代谣言的新特征。在AI广泛运用以前，也曾发生非法分子假借名人身份诈骗的案例，但其手段不过是通过图片编辑软件伪造一两张相片以证身份，这样的低劣手段轻易就能被识破。但通过AI能够快速提取他人的样貌和声音，个性化定制视频，别说对新技术应用较为陌生的有点年纪的人难以判断，即便是生长于互联网环境中的Z世代青年，面对技术纯熟的AI合成视频也不一定能准确分辨。
上述特点已足够对公共情绪和舆论、名人和名企形象造成不良影响，叠加AI近乎无限的量产能力，其危害水平更是呈指数级上升。一些内容生产者尝试提醒网民如何鉴别AIGC避免受骗，可是AI技术的迭代速度实在太快，仅仅在受众端做工作显然解决不了根本问题。
2023年8月15日起施行的《生成式 人工智能 服务管理暂行办法》规定，提供和使用生成式 人工智能 服务，应当遵守法律、行政法规，尊重社会公德和伦理道德，不得生成暴力、淫秽色情，和虚假有害信息等法律、行政法规禁止的内容。因此，对AI诽谤等的治理要从AI工具开始，应强化服务提供方对素材和其生成的审核职责。网络平台也该担起主体责任，建立有效的溯源机制，同时完善平台的AIGC甄别技术，对疑似内容做出提示。而类似事件发生后，也需以儆效尤，严格追究非法分子的刑事或行政责任。
不可否认的是，AI几乎已经渗进目之所及的各个方面，并且势必持续地存在下去。人用双手创造什么，就该用头脑控制什么，既然 人工智能 是大势所趋，那么只有建立起完善的治理体系，才能避免技术凌驾于人的理性之上，实现真实的科技向善。