ChatGPT的发布，在带动新一轮 人工智能 浪潮的同时，也驱动了网络攻击和网络犯罪的升级。

　　“过去，黑客生产一个攻击病毒需要数月时间，现在通过大模型工具可能几分钟就能生成，大大提高了攻击的效率。同时大模型对于编程语言的领会也非常强，攻击者可利用大模型迅速发现软件的漏洞。还有一波急功近利的黑客，利用AI的算法在视频中做人脸的深度伪造，发生了新一波网络诈骗犯罪的涌现。” 亚信安全 顶级副总裁陈奋在接受《科创板日报》采访时表示。

　　同时，攻击者的攻击目标从以往的资产看上了AI算力基础设施和大模型。“年初美国一个数千台服务器的算力集群被攻破，黑客拿去挖比特币。AI算力基础设施就是高价值的GPU集群，这无疑具有巨大的引诱力，甚至大模型本身也有可能存在被利用。过去短短一年时间，针对大模型的攻击手段已经涌现出40种不一样的类型。”陈奋称。

　　目前，国内外厂商都针对大模型领域推出了安全产品。微软在5月份正式商用了Security Copilot，声称在未来要投入千亿美金在 人工智能 上。谷歌去年发布了 网络安全 专有大模型，已经应用到云安全能力中心中。 网络安全 巨头Paloalto、 CRO WDSTRIKE均在其安全运营平台集成了大模型的安全运营能力。

　　国内的相关数据显示，80%以上的 网络安全 公司都在将大模型技术集成到 网络安全 产品中，30%的企业已经开始做大模型安全的研究，也出现了一点安全创业的浪潮。

　　针对AI技术发展造成的安全风险，中国工程院院士、清华大学智能产业研究院院长张亚勤则建议，从事前沿大模型的企业或机构，要把10-30%的投资投到相关研究或产品的开发。

　　▍黑客盯上大模型

　　在张亚勤看来， 人工智能 尤其是大模型在造成新机遇的同时，本身存在很多安全风险，这促使信息安全的范畴需要扩大，包含AI本身的安全风险，模型的参数数据、模型对人类的攻击性，不可解释性、黑箱等，和可控性、可信性、界限等诸多问题。

　　陈奋向《科创板日报》记者介绍，去年已经发现了针对大模型的海绵样本攻击。大致原理是通过向大模型发布特殊的样本，让算力消耗急剧上升。原来几秒钟能做出响应的切实需求，被攻击后需要大量的时间计算。哪怕停止攻击以后，同样的一个请求，大模型也需60秒以上才能返回，即之前的20倍以上。

　　“假如将来的核心应用是大模型驱动的AI原生应用，基本上等于瘫痪了。这只是一个相对基础的攻击事例，可以看到针对大模型攻击很快会到来。”

　　谈到AI对安全产业的影响，陈奋认为，大模型技术、GPT技术一定造成 网络安全 产品技术范式的革新。 网络安全 的攻防从原来人和人之间的对抗，升级到AI和AI之间的对抗。只有AI驱动的 网络安全 防护检测技术才能识别AI驱动的黑客攻击技术。最典型的案例是深度伪造，人眼可能都看不出来的人脸替换，只有通过AI技术才能识别出来。

　　同时，大模型技术将推动 网络安全 产品全面革新，从检测到产品体验、安全运营，造成 网络安全 产品设计范式全面的变化。这意味着安全厂商假如不及时转型，将丧失将来的竞争力。

　　另外，保护的对象也发生了变化。对于企业而言，假如未来其核心应用是通过大模型驱动的，那么保护企业的资产就从以往的资产演进为保护企业的AI中心。在个人的家庭安全方面，也从原来个人的家庭终端演进为保护家庭的AI中心。

　　“从传统个人的桌面、手机，演化到 智能家居 、智能汽车，甚至未来每个家庭可能都有一个 人工智能 。一旦AI走进千家万户，私人所有的数据 人工智能 都会知道。如果AI被黑客所控制，那是非常可怕的。个人的隐私、数据，可能就被黑客窃取走了。”陈奋称。

　　▍安全厂商纷纷入局大模型

　　自大模型热潮以来，国内已经有多家安全厂商纷纷推出了安全大模型。例如 亚信安全 推出了 网络安全 自研大模型信立方，奇安信推出了Q-GPT和大模型卫士、 深信服 有安全GPT2.0， 启明星辰 等厂商也都推出了相关产品。

　　陈奋认为，大模型时代的安全问题可分为两大类，一是Security For AI，主要聚焦在保护算力安全的条件设施，和保护大模型的安全；二是AI For Security，主要聚焦在 网络安全 行业的垂直大模型的研发，和在此之上做 网络安全 的智能体和安全应用。

　　《科创板日报》记者了解到，除了深度微调开源大模型， 亚信安全 也与业内的大模型公司好比与智谱AI合作；在算力生态上，与星云算力等算力公司进行合作；在科研生态上，与清华大学合作建立了联合实验室。

　　“如果自己构建算力中心，代价很大。因此我们选择跟算力公司合作，租用其算力节点，按需获得想要的算力。他们则会直接买我们算力云的安全解决方案。我们既拿到了想要的算力，又能够提供我们的安全服务。”陈奋表示。

　　对于大模型的开源和闭源路线之争，陈奋介绍，“我们自己也微调了很多开源大模型，的确能达到一定的效果。有些场合上，闭源的大模型效果应该是最好的。在行业场景上，闭源大模型造成的通用能力会比开源得更好，因此我们坚守闭源和开源相结合路线。”

　　▍至少10%的大模型研发经费要投入至安全风险

　　在AI所造成的安全风险方面，张亚勤介绍，“近一到两年来个人花了很多时间在做相关的事情”，包含专门成立一个20人左右的“ 人工智能 发展与治理专题研讨会”——参与人员包含三位“图灵奖”获得者和两位深度学习领域的开创者，每过一段时期就一起研讨AI的发展和风险治理。

　　“我们认为，AI技术发展造成的安全和风险不仅是政策制定的问题，也不单纯是科学、技术、产品问题，需要做政策治理的人员和做科研的一起合作，将AI发展和治理融合起来，才有健康的发展。”张亚勤说。

　　为此，张亚勤提出了5个建议：

　　一是要对AI大模型分级管理，万亿甚至更多参数的前沿大模型的危险相对较高，应加强监管。对于一般的模型就不用太多的治理，现在技术和政策法规已经可以了，最顶级别需要治理。

　　二是对AI生成的内容要有清晰标识，好比对AI生成的数字人，要像“广告”标识一样有醒目的标注，让人知道这是AI生成的。

　　三是要有实体映射系统。张亚勤判断，未来会有许多无人车、很多 机器人 ，十年之后人形 机器人 可能比人类要多很多倍。而AI智能体、 机器人 、无人车等，应明确其作为“隶属物”映射到人或企业的主体，相关智能体出现问题，应追溯其主体责任。他提出，现在就应着手制定相关政策法规。

　　四是要加大对大模型风险安全的投入。他呼吁，政府或企业在开发AI大模型进程中，要拿出10%~30%的投入在安全风险的研究或产品开发。张亚勤说：“一开始就拿出30%比较难，可以先拿出10%做安全和风险的研究和创新产品。”

　　五是要设立具体的红线界限。他提出，AI技术有时没有界限，这也是大模型会发生幻觉的原因。因这人在使用大模型时，需要制定一些界限。好比智能数字人不能无限制地复制，大模型用于金融、军事、无人车等核心系统设施时要设立清晰红线等。

　　“这不只是一个企业的事，不只是国家的事，需要全球的企业和政府精诚合作，面对风险、面对存在的问题去解决。”张亚勤最后提到。