11月20日至22日，2024年世界互联网大会乌镇峰会举行，AI大模型技术也作为热点议题受到了广泛关注。大会期间，国内首个AI大模型攻防赛在乌镇峰会收官。贝壳财经记者在现场发现，全球十强选手面对“眼见不为实、耳听不为实”的场景，通过大模型技术鉴别AI做假的音频、证照及视频，用AI对抗AI。
大赛自9月启动以来，有来自全球18个国家和地区的2700多个赛队、3200余名技术精英参与。通过攻、防双向赛道竞技，大赛最终角逐出全球十强，由来自字节跳动、合合信息科技、济南大学、浙江工业大学、安徽大学、上海交通大学等企业和高校的赛队获得。
据了解，赛事由中国图象图形学学会、蚂蚁集团、云安全联盟（CSA）大中华区联合主办，联合清华大学、上海交通大学、浙江大学、北京科技大学、湖南大学、华中科技大学、北京理工大学等高校及多家产学研组织共同发起，直面并解决大模型应用中潜藏风险，助力全球AI产业健康可持续发展。
国内首个攻防赛：聚焦AI反诈等大模型安全真实场景
近年来， 人工智能 技术尤其是大模型及AIGC领域飞速发展，给生活造成了空前绝后的便利与可能性，也造成了安全方面的挑战。只需10秒，大模型就能克隆声音、复刻相片，甚至能生成“你”的视频，从而引发deepfake欺诈、色情影像伪造、假新闻等社会事件；大模型“越狱”问题频发，诱骗AI听从居心叵测的指令，生成血腥、暴力、歧视、冤仇的图片、视频，危害网络空间安全。
中国工程院院士、中国图象图形学学会理事长王耀南表示，“加强大模型安全保护，构建完善的安全防护体系，是确保 人工智能 技术持续、稳定、健康发展的关键所在，也是我们在这个布满机遇与挑战的时代务必肩负起的重要使命。”
在这一环境下，全球AI大模型攻防挑战赛聚焦大模型自身安全和大模型生成内容的防伪检测两个赛道，赛题涉及信用成长、凭据审核、商家入驻、智能助理等多个业务场景，覆盖机器学习、图像处理与计算机视觉、数据处理等多个算法领域，通过创新的技术解决方案，进一步保障大模型应用安全和产业安全。
“通过攻防实战演练，直面大模型应用中的安全问题，促使大模型安全技术不断进步，从而携手行业迈向更高的安全水平。”蚂蚁集团安全实验室首席科学家、全球AI大模型攻防挑战赛评审委员会委员王维强表示。
AI反诈是当前保护大模型安全最典型、真实的场景之一。“现在AI诈骗越来越隐秘，手法越来越多样，可以模拟亲人的声音、朋友的视频，甚至伪造各种文件，让人们防不胜防。今天的竞赛，作为一名人警察察，我觉得非常欣慰，这意味着我们在对抗AI诈骗的道路上，有了更多的力量和智慧。”收官现场，来自桐乡的反诈警察李湘臣向记者说道。
育人才、建标准：推动大模型安全可持续发展
“大赛的举行，汇聚了全球范围内数千位技术精英，为大家提供了技术交流与竞技平台；在这个舞台上，许多卓越的人才脱颖而出，发现和培养一批卓越的安全人才，为行业的未来发展储蓄智力资源，也是大赛的初衷之一。”中国图象图形学学会副理事长兼秘书长、北京科技大学教授马惠敏表示说。
据了解，除了十强选手之外，为了鼓励竞赛方案的算法创新性和资源绿色性，大赛还特别评选出“杰出方案奖”，分别由西安交通大学、上海交通大学及理想汽车赛队获得。另外，蚂蚁集团在现场为优秀选手颁发直通offer。
中国科学院计算技术研究所副研究员敖翔在现场表示：“ 人工智能 技术的飞速发展为人才提供了广阔的发展空间和创新平台，而AI领域的快速变化也对人才的知识结构、技能水平和创新能力提出了更高的要求，AI时代人才的成长离不开产学研的密切合作。”
另外，活动现场，中国信通院启动“护证计划”，呼吁共建行业标准，守护用户的身份安全。蚂蚁集团积极响应加入该计划，宣布其推出的凭据可信认证平台蚂蚁光鉴将逐步升级，未来缔造成为集合智能证照核身处理系统、智能声音核身处理系统、智能视频核身处理系统于一体的新一代AI核身系统。
IIFAA互联网可信认证联盟也正式对外发布《IIFAA基于移动智能终端的凭据文件验证服务检测规范》，该规范对凭据文件验证服务的功能、性能要求和评估方法做了详细说明，以提升凭据文件验证的效率和安全性，推动行业的标准化进程。
“只有当技术、规范和意识三者协同发力，加上持续的人才储蓄，我们才能真正守护好大模型的安全，为其持续健康发展创造良好的条件。”王维强表示说。
新京报贝壳财经记者罗亦丹