员工被要求向指定账户转账,老板却是AI换脸后的“冒牌货”?就在2月,一则涉案金额高达2亿港元的AI换脸诈骗案引发了高度关注。
如果说2023 年是生成式AI的元年,那么2024年它又迎来了新的爆发。ChatGPT造成 人工智能 革命性的突破,Sora的横空出世,又将人们带入视频生成全新领域。而在各种新鲜技术雨后春笋的当下,非法分子通过AI换脸诈骗的定 时炸弹也随之滋生。问题随之而来:AI换脸怎么实现的?有没有好的要领甄别?此类风险又该如何预防?
AI诈骗横行
根据香港警方披露,一家跨国公司香港分部的职员受邀参加总部首席财务官发起的“多人视频会议”,根据高管们的安排,先后15次将2亿港元转到指定的账户。没承想,其它“参会人员”都是经过AI换脸后的诈骗人员。
事后调查发现,诈骗人在开始行动前,早已搜集好了公司高层的媒体采访、视频平台的相关内容,并拿到英国总部高层管理人员的光辉形象和声音,利用Deepfake(深度伪造)技术,制作出高层人员的讲话视频。而诈骗人在视频会议当天直接使用提前制作好的视频,由于视频会议的内容基本上是总部的高管们单向向其它人下达命令,会议期间并没有袒露真相。
此次诈骗事件中的“Deepfake”技术,在早年就已经引起过轰动。这样的深度伪造技术指基于AI 人工智能 技术进行人体图像的合成。目前使用AI的深伪技术已经能达到还原度很高的换脸效果,再结合语音伪造技术,就能做到“造人”。
香港2亿港元诈骗案其实不是个例。最近,陕西西安财务人员张女士与老板视频通话,被要求转账186万元到一个指定账号。被害人张女士称,“老板”让把这个款赶紧转过去,这笔款要得非常着急,因为“老板”声音还有视频图像都跟他我是同样的,所以并未起疑。当然,这同样是一场精心策划的精心骗局。
种种案件的发生,已经昭示着AI诈骗离我们不再遥远。电信诈骗非法分子通常会换脸成亲人、朋友、同事等,向受害人索取钱财,视频的形式看似可信度高,却也让受害人放松了警惕。
已经有检测算法鉴别换脸
“眼见不一定为实”“有图有视频也不一定是真相”的时代已经来临。AI技术革新催生了花样复杂的诈骗伎俩,对于普通人而言,了解技术背后的原理,才能“知己知彼”。
其实,AI换脸背后的技术逻辑其实不复杂。“简单来讲,AI换脸主要使用的就是深度合成技术。”中国信通院 人工智能 中心安全与元宇宙部主任石霖介绍道,首先使用大量的人脸数据,通过深度学习算法和神经网络,训练模型识别和理解人脸的关键特征,这些特征主要包含五官的位置、脸色、光照等。在换脸的进程中,使用训练好的模型提取原始人脸相片或视频的特征,然后将目标人脸与之相匹配,实现这些特征的转移。
石霖补充到,前几年,实现AI换脸存在一定的门槛,通常需要高质量的数据集对模型进行训练和微调,让模型能够准确地识别和提取面部特征;在制作换脸视频的进程中,需要充分的算力资源来支撑模型的运行。然而当前,已经有许多相对成熟的深度合成的开源项目或工具。“可以说AI换脸的成本正在逐步降低,速度和拟真度正在不断提升,已经达到了快速制作一段肉眼难以鉴别的换脸视频的水平。”
不过这时,当前AI换脸的一些技术弱点仍旧存在。石霖指出,一些换脸的视频会存在光照、脸色等不够自然、帧与帧之间不够连贯的问题,尽管随着模型能力的提升,这些换脸的痕迹已经做到几乎肉眼难以鉴别的水平,但我们仍然可以通过一些专用的检测算法进行鉴别。这些检测算法在训练进程中大量学习了换脸视频中伪造特征的形式,在使用的进程中逐帧提取特征,从而判断一段视频是否经过了换脸。当前,这些技术已经开始用在金融场景中,实现对诈骗等行为的识别。
那么,这些鉴别技术应用于反诈领域,前景如何?不得不承认,网络信号与算力仍是待解决的困扰。“由于这些技术仍然需要大量的计算资源尤其是GPU的支持,因此,通常在使用进程中,需要将相关的检测模型部署在服务器中。但假如想要将这些检测模型部署在手机、个人电脑中,或嵌入到社交、会议软件里,可能会对软硬件的使用体验造成较大的影响。近年来,很多技术企业已经开始尝试不断优化检测模型,探索将模型部署在端侧。”石霖说道。
隐私泄露的黑灰产业链
“我的人脸信息他们从哪里来?”“人脸识别会被攻克么?”非法分子有机会实施AI换脸诈骗,背后反映出公民面部特征等 生物识别 信息、家庭身份信息、财产信息等隐私泄露的问题,更值得深思。
“诈骗分子给你发个链接,上传几张相片、填写个人信息就能领几元钱红包,这样的收集方式太普遍了。”北京某高校一相关技术资深研究员对北京商报记者表示,当前公民个人信息被非法收集、交易、挖掘、利用的问题长期存在,并且已经形成黑灰产业链。AI技术被运用到黑灰产业链上,恰恰使得非法分子对个人的画像越来越精确,借此开展精准诈骗。
在北京寻真律师事务所律师王德怡看来,从法律层面上来讲,我国缺少一部对公民个人信息进行完整保护的法律或行政法规。一些保护性规定只是在一些部门规章或地方性规定中有体现。生活中使用人脸识别技术极为普遍,但相关数据的传输、存储、保护是一个大难题。一旦发生数据泄露或有意出售,难以追究责任。怎样在提供技术方便的同时,又保证个人 数据安全 ,需要立法划清权利义务界限。
一方面,是隐私信息的收集和使用者未按规定收集、存储、使用和销毁个人隐私,造成在对隐私数据设定严格的访问控制规则上出现疏漏;另一方面,公民能否建立良好隐私保护意识,同样起到了非常重要的作用。石霖建议,当用户遇到收集人脸等个人隐私数据的网站、App,应该谨慎和仔细阅读敏感信息的收集协议,了解适用范围,谨慎将人脸等个人隐私数据授权给不必要的企业和个人。
多主体全链条治理
除了消费者自身提高 网络安全 意识,对于AI换脸相关风险的措施与整治,需要从平台、相关技术服务商,到监管、司法形成多主体、全链条的治理。
北京市 中闻律师事务所律师李亚指出,《互联网信息服务深度合成管理规定》明确规定,不得利用深度合成服务从事危害国家安全和利益、损害国家形象、侵害社会公共利益、扰乱经济和社会秩序、侵犯他人合法权益等法律、行政法规禁止的活动。针对网络用户、服务平台,可通过对AI深度合成技术的使用目的和数据和技术管理进行规制,实现深度合成技术的合理使用。
“在人脸等敏感个人信息的收集使用者层面,应该严格落实法律法规的相关要求,设定收集和使用范围、访问规则、销毁策略等,并配备相关的技术手段提升安全防护能力。在技术提供方层面,应该不断提升换脸视频的识别能力,降低识别全面的运行成本,逐步实现识别全面的广泛普及应用。”石霖补充道。
另外,监管是必不可少的一环。石霖表示,应加强涉及人脸信息收集、使用的互联网信息服务提供者的监察管理工作,依法依规对收集、存储、使用、销毁等关键环节的制度、技术进行执法检查,帮助企业提升安全合规能力。
风险提示
针对性强、不容易识别是AI换脸新型骗局的主要特征。对于普通消费者而言,如何有效甄别、避免遭受财产损失?
专家建议,如遇此类诈骗伎俩,最容易的要领,可以要求对方在视频对话时,在脸部的前面通过挥手的形式进行识别,或让对方摁鼻子、捏脸观察其面部变化。实时虚构的视频,在挥手的进程中,会造成面部数据的干扰,很容易露出破绽;假如是真人的鼻子、脸部,按下去会变形,但AI生成的鼻子其实不会。
另外,如果觉得聊天内容不太对劲,可以放大窗口查看光线和阴影是否正常,人像边缘有没有模糊;还可以在点对点的沟通中问一些只有对方知道的问题,验证屏幕对面人的身份可靠性。
当然,最重要的还是消费者应提高 网络安全 意识,防患于未然。谨慎授权人脸等个人隐私信息,不点击陌生链接、扫描陌生二维码,不轻易泄露个人银行卡账户、密码、验证码等关键信息。