最近，韩国出现多起利用AI换脸伪造女性色情露骨图像的犯罪案，在这背后，犯罪者用深度伪造技术（Deepfake）合成色情相片和视频，并在通信软件Telegram的群聊中流传，参与者多达22万人，引发韩国民众恐慌。
韩国女性在包含微博在内的全球各大社交平台上发帖求助，这一话题也在近两日登上多个微博热搜，有人将其称之为韩国又一“N号房”丑闻。
深度虚构的核心原理是利用深度学习算法将目标对象的面部“嫁接”到被模仿对象上，随着AI技术的进步，这一技术工具越来越普遍，门槛变低，容易被有心者利用进行数字犯罪。不仅在韩国，在国内和全球都有发生，涉及性犯罪和金融诈骗等领域。
深度伪造犯罪频发
今年5月，韩国当地媒体透露，首尔大学结业生朴某和姜某，从2021年7月至2024年4月的3年多里，盗用女性同学、熟人的相片，用深度伪造技术换脸合成色情制品，在Telegram上建立了近200个网络聊天室进行流传，警方称，朴某共参与制作、流传约1700份非法相片和视频，受害女性多达61人。
朴某和姜某先后于今年4月和5月被逮捕，但这件事只是深度伪造性犯罪在韩国泛滥的冰山一角。
最近一周，韩国警方发现了大量与学校、医院、军队相关的疑似分享淫秽影像的社交媒体群组，这些群组里的淫秽影像经深度伪造换脸而制成。涉及的群组参与人数不等，少的几百上千人，多的有十万人以上，总计参与用户多达22万人（包含可能重复的情景）。受害女性包含学生、教师、军人等，甚至有很多未成年人。
韩国妇女人权研究所公布了一组数据：从今年1月1日到上周日，共有781名深度伪造受害者在线求助，其中288名（36.9%）是未成年人。据韩国教师联盟估计，目前已经有超过200所学校受到影响。
随着舆论在各大社交媒体上发酵，韩国政府也出面作出表态。韩国总统尹锡悦表示，恶意利用深度伪造技术是犯罪表现，希望相关部门通过掌握实际情况和调查，完全根除此类数字技术犯罪。
记者了解到，韩国警方已成立特别工作组，8月28日起，会专门对深度伪造性犯罪等虚假视频案件展开为期7个月的专项行动。警方统计显示，韩国今年前7个月共有297宗深伪色情罪案，较去年全年的180宗更高。
其实，深度伪造这一技术犯罪，不仅仅出现在韩国，这两年在全球都有出现。
在国内，今年6月，“男子用AI伪造学生同事近7000张裸照”冲上微博热搜。据央视新闻消息，犯罪嫌疑人白某某是一家互联网公司的技术员，他用AI“一键去衣”技术，深度伪造淫秽图片近7000张，再每张1.5元卖出，挣了将近一万元。图片涉及女性人数多，包含学生、教师、同事。目前白某某已经被提起公诉。
北京市 海淀区人民检察院检察官助理郭树正表示，白某某用的这款 人工智能 软件，能很快对被害人的图片“一键去衣”，基本上几秒钟、几分钟就能批量生成相应的图片。
针对这一案件，检察机关认为，被告人白某某以牟利为目的，制作、兜售淫秽物品，事情严重，其行为触犯了《中华人民共和国刑法》的有关规定，应当以制作、兜售淫秽物品牟利罪追究其刑事责任。
今年1月，美国著名歌手泰勒·斯威夫特（Taylor Swift）也成了AI深度虚构的受害者，大量由AI生成的泰勒不雅照在各大社交平台疯转，浏览量过千万，引发公众关注。
另外，在8月份，埃隆·马斯克（Elon Musk）也因AI伪造技术卷入了一场诈骗事件。82岁的退休老人史蒂夫·比彻姆（Steve Beauchamp）在互联网上看到了一段声称由马斯克亲自承诺收益的投资视频，随后他联系了视频背后的推销公司，并投资了超过69万美元。随后，这些钱就落入了诈骗犯之手。
据了解，这些诈骗者篡改了一段马斯克的真实采访，利用AI技术替换了他的声音，并微调了他的口型，以匹配他们为这个数字人编写的新剧本。对于一般观众而言，这种操作几乎发觉不出。
监管跟进
Sensity是监测和检测深度伪造视频的企业，根据该机构发布的数据显示，在2000多起深度伪造案件中，马斯克的光辉形象出现了近四分之一的案件，成为AI诈骗案中最常见的代言人之一。深度做假广告还经常使用沃伦·巴菲特（Warren Buffett）这样的著名投资者和亚马逊开创人杰夫·贝索斯（Jeff Bezos）等商界大佬这样的光辉形象。
近几个月来，互联网上充溢着数以千计的这种由AI驱动的视频，据德勤估计，该类由AI支持的深度做假每年可能造成数十亿美元的欺诈损失。这些视频制作成本极低，几分钟内即可完成，并通过社交媒体进行推广。
深度伪造最初源自英语中新兴的组合词Deepfake，是计算机的深度学习（Deeplearning）与伪造（fake）的融合，通俗而言，深度伪造将图片和声音输入机器学习的算法，进而能进行面部操作，即把一个人的脸部轮廓与脸色放在其它任何人的脸上，同时凭借对声音的真切处理，缔造出实际上为合成但看起来极其真实的视频。
多数的深度伪造均依赖于深度学习技术生成式对抗网络（GAN），这种技术通过两个相互竞争的神经网络——生成器和判别器来训练数据，最终生成难以区分真伪的数据内容。GAN生成器负责建立虚假数据，而判别器则对其进行鉴别。两者不断迭代优化，直至生成器能够制造出足以坑骗判别器的高仿真数据。
从应用工具角度来审视，市场上已经有若干成熟的深度伪造应用工具。例如，换脸应用可以将一个人的脸部置换到另外一个人的身体上；重新投射技术允许面部的运动和脸色映射到目标用户上；口型同步工具可以复制口部动作并结合音频生成，创造出看似真实的说话视频。这些工具的普及降低了技术使用门槛，使得普通个体也能创作出深度伪造内容。
鉴于深度伪造技术的潜在风险，各国政府和研究机构已经开始采取应对措施。如美国和欧盟已经出台了相关政策和法规，旨在加强对深度伪造内容的监察管理和处罚。同时，科研人员正在开发检测深度伪造内容的新技术，以期在复杂多变的虚假信息环境中保护公众免受坑骗。
中国已经有相应法律手段应对这一问题。根据2023年1月10日起施行的《互联网信息服务深度合成管理规定》，任何组织和个人不得利用深度合成服务制作、发布或流传法律、行政法规禁止的信息。
2024年7月23日，美国参议院通过了《2024年打击精准伪造图像和未经同意编辑法案》（Disrupt Explicit Forged Images and Non-Consensual Edits Act of 2024，DEFIANCE Act），允许私密数字伪造内容的受害人向恶意制作或流传的人寻求民事赔偿。
根据这一法案，一般情形的损害原告可获得的赔偿额为15万美元，如果被告对原告实施或图谋实施性侵犯、跟踪或骚扰等行为；或涉案私密数字伪造内容成为任何人对原告实施或图谋实施性侵犯、跟踪或骚扰的直接和近因，赔偿则为25万美元。
监管之外，大型平台也已经开始重视这一问题。今年8月，谷歌宣布，将采取措施避免色情深度伪造内容出现在搜索结果中。谷歌表示，将简化受害者请求移除非自愿色情图像的流程，并且会过滤掉相关搜索的所有色情结果，还会删除重复的图像。
