“短短十分钟，被坑430万元”“换脸冒充女明星带货，赚得盆满钵满”……近年来，随着人脸识别技术的广泛应用和 人工智能 技术的进步，一些非法分子开始利用“AI换脸”、AI拟声等技术实施偷盗、诈骗等犯罪，可谓“知人知面不知心”，让人防不胜防。
10月中旬，恰逢金融消保教育宣传月，多地金管局提示“AI换脸”骗局风险，称当前利用AI技术融合他人面孔和声音、制造真切的合成图像来实施的新型网络诈骗，显现手段愈发多样、门槛大幅下降、鉴别难度加大等特点，常令消费者放松警惕，短时间内造成较大损失。
中港两地接近金融监管人士告诉21世纪经济报道记者，AI换脸金融诈骗是一个新的诈骗领域，当前的防范主要依靠警方打击，和对用户的不断教育警示。
针对大众可能关注的热点问题，例如“AI换脸”是怎样进行金融诈骗的？防范的难点是啥？如何防范？AI技术的监察管理界限在哪里？本文将进行详细解析。
“AI换脸”技术如何进行金融诈骗？
据21世纪经济报道记者了解，“AI换脸”金融诈骗依赖于Deepfake（深度伪造）技术，非法分子主要以冒充被害人的亲戚朋友，领导同事等身份，以诈骗被害人的信任而获得钱财。
今年8月，厦门金管局提示，目前“AI换脸”有三大新型骗局：冒充熟人诈坑钱款、冒充明星夸大宣传、盗开账户诈坑钱款。10月7日，国家金融监督管理总局北京监管局发布风险提示称，有非法分子非法获取个人信息，通过计算机算法仿真合成受骗者亲人、领导同事或公职人员的肖像面容与声音，冒充上述人员身份诈骗；在获得受害者信任后使用事先准备好的套路话术向受害人发送银行卡转账、虚拟投资理财、刷单回扣等诈骗信息，并利用视频通话，语音轰炸等行径进一步降低受害者的防备心，受害者往往在短时间内难以发觉异样，一旦听信诈骗分子的骗术并完成转账，对方便杳无音讯。
中国政法大学光明新闻流传学院助理教授张璐接受21世纪经济报道记者采访表示，与传统技术相比，“AI换脸”的破坏力不仅仅在于“伪造”，更在于“深度”，其可能发生不同于一般伪造技术的危险。
张璐指出，“AI换脸”不仅具有侵犯公民人身权利和财产权利的危险，而且可能造成假新闻泛滥，拆台社会稳定和国家安全、国际秩序。另外，还应警惕由深度伪造技术对社会信任体系的冲击，冲击了公众对“真实”本意的认知和共识，“眼见未必为实”的现实将挑战社会信任的条件，造成信息无序、伦理危机并加大交易成本，最终引发难以估量的后果。
那么，非法分子是怎样筛选目标人物的？中国政法大学法与经济研究院副院长徐文鸣告诉21世纪经济报道记者，诈骗分子一般会先对公众在互联网上发布的各类信息进行 大数据 分析，包含社交媒体上的个人数据、工作信息、人际关系等，研究他们的日常生活作息、工作习惯、资产状况等，然后结合要实施的骗术通过AI技术对人群进行筛选，从而确定要实施诈骗的目标人群，锁定诈骗对象。
“10分钟被坑走430万！”就是一起典型的“AI换脸”冒充熟人诈骗真实案例。
今年5月， 包头市 公安局在官方网站表示， 福州市 某科技公司责任人代表郭先生的“好友”通过微信视频联系他，声称自己的朋友在外地投标，需要430万元保证金，且需要公对公账户过账，所以想要借用郭先生公司的账户走一下账。“好友”向郭先生要了银行卡号，称钱已转入郭先生的账户上，并将银行转账截图发给他。基于视频聊天信任的条件下，郭先生并未核对钱是否到账，而是逐渐转给对方合计430万元人民币，随后郭先生才发现被坑。
“从头至尾都没有和我提借款的事情，就说会先将钱给我打过来，再让我给他朋友账户转过去，而且当时是给我打了视频的，我在视频中也确认了面孔和声音，所以才放松了戒备”，郭先生讲。
“除了AI技术令人真假难辨外，用户隐私泄露是‘AI换脸’金融诈骗的一个主要原因。”徐文鸣表示，“AI换脸”金融诈骗务必借助于用户的敏感个人信息，才能精确选择诈骗对象，并伪造被害人的亲属、朋友、领导等关系相近人员身份，从而诈骗被害人的信任，可以说它是“AI换脸”金融诈骗的一个入口点。
他认为，在获取目标用户的声音和长相方面，诈骗分子常依赖于用户在社交媒体上公开的数据或通过非法伎俩获取的数据。例如诈骗分子可能会通过拨打骚扰电话并录音等方式来获得包含用户声音的音频文件，获取相关素材以进行声音合成。在样貌方面，许多用户会在社交媒体平台或其它公开渠道分享自己、朋友和亲人的相片、视频，社交媒体的广泛应用使得诈骗分子能够通过该渠道获取目标用户的相关数据。还存在一些企业合法收集用户信息后，非法买卖用户个人信息或保管不妥造成用户隐私信息泄露的情景，这也给诈骗分子实施诈骗提供了信息来源。
“犯罪分子用于实施‘AI换脸’的物料主要为相片，尤其是身份证相片，同时结合人员姓名、身份证号来突破人脸识别验证系统。”公安部 网络安全 守卫局副局长李彤在8月10日公安部新闻发布会上称。
另外，诈骗分子也会尝试通过垂钓网站或发送恶意链接等方式来坑骗用户，获取用户的声音或相片。通过这些方式获取的相关数据都是目标用户的真实数据，且具有特定指向性，一旦诈骗分子获取了这些信息，他们就可以使用AI换脸技术制作不存在的音视频内容，获取受害者的信任，进而实施金融诈骗。
防范的难点是啥？如何防范？
一位商业银行信息技术人士告诉21世纪经济报道记者，目前防范“AI换脸”金融诈骗的难点主要在三方面：一是人脸信息输入方是开放的，不能完全受控制；二是过于严格和安全的控制策略会严重影响服务体验，造成失去应用人脸的价值；三是人脸本身属于静态身份认证，AI换脸技术基本获取或模拟了人脸的大多数特征值，人脸识别的安全性相对有限。
徐文鸣强调，“AI换脸”金融诈骗防范的最大难点在于信息的真伪性难以分辨。利用“AI换脸”技术虚构的信息高度真切，该技术的使用使得真实信息与虚假信息之间的界限变得模糊，公众难以确定某个图片、音频或视频内容是否真实。
据21世纪经济报道记者了解，目前防范AI换脸金融诈骗风险目前主要靠公安严打、银行内部防范，和提高用户提高反诈能力等多方合力解决。
据新华社报道，8月10日，公安部召开新闻发布会，表示将严打“AI换脸”诈骗犯罪 。为防范和打击该类新型犯罪，公安机关还联合国家重点实验室等单位，开展人脸识别与活体检测技术安全测评，覆盖了境内用户量大、问题隐患突出的即时通讯、网络直播、网络社交、电商平台、金融支付等重点APP，及时发现人脸识别验证系统存在的危险隐患。同时，依托“净网”专项行动，公安部组织专项会战，破获“AI换脸”案件79起，抓获犯罪嫌疑人515名。
从银行内部来看，上述商业银行信息技术人士接受21世纪经济报道记者采访时表示，目前银行防范风险的措施主要有两方面：一是多因素认证，即将人脸识别作为多种身份认证因素之一，提升总体身份认证的破解难度，从而实现相对安全，好比附加手机短信验证等；二是辅助认证，将人脸识别应用于中低风险服务，好比APP登录、购买理财等不涉及资金或账户内的交易。
从提高用户反诈能力来看，厦门金管局提出了三大防范措施：
一是多方核对，确认身份。认真核对身份信息，对亲友熟人线上发来的消息，若包含转账转账、提供个人信息、提供手机短信验证码等涉及重要决策或敏感信息的要求时，应保持高度警惕，通过主动更换渠道如电话、视频提问等方式多重确认对方身份。
“AI拟声、AI换脸包装作伪后的通话，虽能真切地模仿原始人物的语言和行为，但仍布满破绽，例如眨眼频率过低、眼睛移动不协调、面部脸色不自然、唇形不相配、语句不连贯等。若在与亲友视频语音沟通中发现上述异常行为，应立即警觉。”厦门监管局提醒，在核对无误后确需转账的情景下，应尽量向银行账户转账，避免通过社交软件转账，有助于进一步核对对方身份、跟进转账信息，一旦发觉风险，及时报警求助。
二是保护信息，拒绝诱惑。提高信息保护意识，特别警惕需要录入个人信息的非正规软件，如走路挣钱、刷单兼职App等。在开启“定位服务”、输入“身份证号”或是录入“人脸识别信息”“指纹识别信息”等个人生物信息时务必要慎之又慎；发现App过度、强制收集个人信息时及时向相关部门投诉举报。另外，妥善设置个人社交账户的浏览权限，不过度公开或分享涉及个人信息的动图、视频等，对不明平台发来的宣传广告、中奖、交友等链接提高警觉，不随意填写个人信息，不轻易向陌生人开启手机屏幕共享。
三是相互提示，共同预防。对身边的亲友多加提醒，互相交流，共同应对新型AI骗局。对新兴AI技术不了解不敏感的有点年纪的人往往成为AI换脸诈骗的潜在受害者，广大消费者在对身边的该类人群加强常规反诈提示的同时，也要谨防揭示非法分子的新手段：视频电话眼见、耳听未必属于事实；勿与陌生人视频通话，个人信息切不可轻易对外提供，共同提高风险防范意识，保护个人信息安全。
徐文鸣认为，首先，要学会识别诈骗伎俩。用户应及时了解和学习AI换脸技术和金融诈骗的工作原理和常见的诈骗伎俩，增强识别潜在受骗危险的能力。因为人脸合成的素材大多使用的是睁眼相片，所以“缺少眨眼”可以被视为是合成视频的特征之一，另外合成视频还可能存在语音和嘴唇运动不同步、情绪不符合、模糊的痕迹、画面停顿或变色等情况。
其次，在手机中安置国家反诈中心APP，利用软件进行防诈骗保护。第叁，保护好个人信息。在社交媒体上谨慎分享个人隐私信息，在授权他人使用个人生物信息时需验证对方是否正规合法、是否建立了良好的数据存储和保密机制。最后，涉及财产处置时要保持高度警惕。一方面，谨慎添加陌生好友，在涉及转账交易等行为时多重验证并设置延期到账来预留处理时间，要谨防核验对方身份，可通过见面、回拨电话、询问对方问题等多种方式。若对方是以视频通话方式联系的，应注意仔细观察视频中人物的神情样貌、面部细节，或要求对方做出指定动作。另一方面，要重视证据的收集和保存，可通过对通话进行录制、保存转账截图等方式，在发现风险时，及时报警求助。
上述防范方式方法看起来可能比较复杂，近期最高人民检察院专门发布相关视频，提出了三点简单易行的防范方法：“电话回拨再确认，视频不可轻易信；私人问题记得问，答不上来不可信；眨眼能破AI面孔，关键时刻要经常使用。”
AI技术的监察管理界限在哪里？
随着 人工智能 科技的进步，一方面高科技能够为用户和商家造成了便利和高效，例如人脸识别应用在支付等领域，提升了支付效率；另一方面，该类技术被非法分子掌握后，发生了新的诈骗伎俩。因此，作为双刃剑的AI技术，其监管界限值得思考。
徐文鸣称，AI技术的监察管理界限是一个复杂的问题，且会随着AI技术的发展而不断演化。AI技术具有许多优势和潜在的应用领域，利用好AI技术可以增强生产力和提高生产效率，如优化企业的决策、降低企业生产成本，应鼓励和支持AI技术成长成为有力的生产力工具。但同时需要小心谨慎使用AI技术，防范AI技术滥用给公众利益、国家安全造成的潜在危害。因此，AI技术的发展需要平衡创新增进和公众利益保护两方面考量，这就要求适当划分AI技术的监察管理界限。
其实，监管已经开始重视这一问题。为了规范AI技术的应用，2023年7月10日，国务院公开发布通知表示，由国家互联网信息办公室联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、 广电 总局共同拟定的《生成式 人工智能 服务管理暂行办法》（下称“《办法》”）于2023年8月15日正式施行。
张璐对21世纪经济报道记者表示，这意味着，AI换脸中假如是利用生成式 人工智能 技术的，也受到《办法》的规范。《办法》第9条规定，提供者应当依法承担网络信息内容生产者责任，履行网络信息安全义务。涉及个人信息的，依法承担个人信息处理者责任，履行个人信息保护义务。
另外，张璐指出，我国于2022年11月发布《互联网信息服务深度合成管理规定》，专门对利用深度合成服务做出规范。《规定》从信息显现和信息流传两个维度提出要求。在信息显现方面，提出深度合成服务提供者应当在可能造成公众混淆或误认的深度合成信息内容中加入显式标识，以提示公众该内容的生成合成特性，保障公众知情权，降低虚假信息流传的危险，实现内容治理。在信息流传方面，通过有效技术保障措施在深度合成信息内容中添加隐式标识，实现深度合成内容安全溯源和技术应用安全可控，确保内容流传链条明确清晰。
海外方面，张璐告诉21世纪经济报道记者，针对深度合成技术造成的推翻性风险挑战，目前多个国家和地区对于AI换脸的监察管理正在积极推进之中。美国曾推出立法提案，可是未被通过，一些州（好比加利福尼亚州、德克萨斯州、纽约州、弗吉尼亚州等）已经通过了管理其使用的法律，不过立法提案主要聚焦色情暴力、政治等领域，暂无财产领域。欧盟将深度合成涉及的个人数据保护问题并入《通用数据保护条例》（GDPR）的规制框架，欧盟《数字服务法》（The Digital Services Act，DSA）于2022年11月生效，要求社交媒体对用户在其平台上发表的非法信息内容（包含深度伪造）等采取行动。德国、英国、新加坡、韩国等国将深度合成相关犯罪并入刑法范畴，但尚未有国家出台规范深度合成服务的专门立法。
徐文鸣表示，在 人工智能 领域，欧盟开展了大量的相关立法工作，如《通用数据保护条例》这部在全球范围具有广泛影响力的法律，欧盟在 人工智能 方面的监察管理一直走在世界前列。欧盟委员会正在准备出台《 人工智能 法案》，预计该法案将于2024年正式生效。根据当前该项法案的内容，其要点之一在于将 人工智能 系统根据风险评估分为了四类：不可接受的危险、高风险、有限风险与轻微风险，并针对不同风险等级，采取不同水平的监察管理措施。当前我国的相关法律规定暂未对 人工智能 服务或技术进行详细的分类分级，在增进AI技术发展和防范AI技术滥用的监察管理平衡中，欧盟《 人工智能 法案》这一监管思路对于我国 人工智能 监管存在借鉴意义。
