财经热点 > 财经资讯 > AI安全-上强度- 以魔法破魔法 - AI安全观察④
【网络安全】AI安全-上强度- 以魔法破魔法 - AI安全观察④
信息来源】   发布日期:5-23 9:57:03    文章分类:财经资讯   
专题:网络安全】 【大模型】 【人工智能】 【上强度

  21世纪经济报道记者孔海丽北京报道

  在 人工智能 大模型的助推下,全球新一轮科技革命和产业变革正在酝酿,但也衍生了一点担忧, 数据安全 、终端安全和个人的数字主权面临更大的挑战。

  “攻击组织借助AI的学习与分析能力,持续深入剖析防御机制,不断优化和精进其攻击策略,甚至能够实现攻击策略的自动部署与执行,加剧了 网络安全 领域的挑战。”有 网络安全 行业从业人士表示,AI大模型的能力假如不能被善意利用,所造成的安全要挟无疑也是翻倍的。

  最近,多位专家在第六届C3安全大会上指出,AI 网络安全 要求我们重新审视以往的安全防护安全措施,来应对AI算法发起的更为隐蔽、精准的网络攻击——“以AI制AI,以魔法破魔法”,利用AI技术来应对AI驱动的 网络安全 要挟。

  中央网信办 网络安全 协调局二级巡视员张胜表示,近年来,中央网信办同相关部门相继出台了《 网络安全 法》、《 数据安全 法》、《个人信息保护法》、《关键信息基础设施安全保护条例》等系列法律法规,《 网络安全 审查办法》、《生成式 人工智能 管理办法》等重要制度和数百项 网络安全 国家标准,基本构建起 网络安全 政策法规体系的四梁八柱。他认为, 人工智能网络安全 的深度融合,要从加强 网络安全 人才与创新、重视数据资源建设与共享等方面继续展开。

  “数据正在成为最重要的资产,大模型如同现代冶炼厂,在铸造出这个时代的‘钢铁’。操作系统、行业大模型与‘云网安’共同构成新时代数据的条件设施。” 亚信联合开创人田溯宁说,数据经济新时代正在拉开全球新一轮竞争。

  AI大模型的机遇和风险

  AI技术助力千行百业智能化升级,但任何跨越时代的科学技术,都可能成为一把悬于正义与邪恶之间的双刃剑。在鼓励AI创新的同时,更要规范其健康发展,如何让其成为有利工具,让AI向善,成为业界讨论激烈的话题。

  在中国工程院院士、清华大学智能产业研究院院长张亚勤看来,信息安全的范畴需要扩大,包含AI模型安全、 数据安全 、参数安全,也包含可控性、可解释性,和AI的界限性等。

  谈到AI对产业的影响,他认为,这其实构建了一个全新的生态,构建了新的操作系统,AI大模型就是 人工智能 时代的操作系统,在这之上,会有许多新的应用。“除了通用大模型,每个产业都还会有深度的垂直行业大模型,这个生态将比PC互联网高两个数量级,比手机端高至少一个数量级。”

  张亚勤认为,新的 人工智能 是信息智能、物理智能和生物智能的融合。AI大模型的能力极其强大,未来可能创造出很多发展机遇,但也蕴含着很多潜在风险——例如信息智能的危险、AI本身隐含的安全风险和可控性、可信性、界限等诸多问题;例如幻觉的问题、深度虚构的问题,或是当大模型技术的应用范围拓展至更广更深的领域时的失控和被利用的危险等。

  他建议,在推动大模型相关技术进步的同时,也应未雨绸缪地做好安全防范工作,确保技术向善。具体包含,要把AI模型分级,参数越大的大模型治理要求越高,准确标识AI生成的内容,呼吁行业主体把至少30%的投资用于风险的研究和安全的保障,设立非常具体的红线界限等。

  智谱AI总裁王绍兰也出现在C3安全大会现场。他表示,大模型作为新一代技术,技术突破与落地应用速度非常快,可能是之前的十倍、百倍,而大模型造成的产业变革,也将是传统速度的百倍之高。他说,大模型在各个行业的应用其实不是线性化的,而是裂变式的,并且前沿技术攻关与规模化应用是并行的,这决定于大模型的涌现能力。

  谈及AI大模型的未来,王绍兰认为,多模态是一个重要趋势,另外一个重要趋势是大模型智能体的能力,或许大模型将学会PDCA循环,自己训练自己,让大模型智能体真正变成生产力。

  大模型安全与安全大模型

  应对大模型时代的 数据安全 问题,行业里有两个并行方案,一是关注大模型算法的安全,好比算法的公平性、可解释性、算法对抗性和对齐等诸多问题;二是大模型应用安全防护技术,针对漏洞防护、路径检测及响应、agent框架安全、数据泄露等诸多问题,并提供红队攻防服务。

   亚信安全 顶级副总裁陈奋解析了近期由AGI技术驱动的持续升级的网络攻击与网络犯罪。他指出,AGI工具将黑客生成新要挟的时间由之前的“数个月”缩减至几小时甚至几分钟;同时,攻击者开始利用大模型迅速发现软件与服务中存在的漏洞;通过人脸深度伪造来实施网络诈骗犯罪的案例也越来越多。更严峻的,攻击者的目标正由以往的数字资产转向AI算力基础设施和大模型。据陈奋透露, 亚信安全 监测到,短短一年时间,针对大模型的攻击手段已涌现出40种不一样的类型。

  “ 网络安全 的攻防,从原来人和人之间的对抗,已经升级到AI和AI之间的对抗,只有AI驱动的 网络安全 防护检测技术,才能识别AI驱动的黑客攻击技术。”陈奋说, 网络安全 保护的对象也发生了变化,未来保护企业的资产就从以往的资产演进为保护企业的AI中心。

  AI界已经在行动。微软在今年5月份已经正式商用了Microsoft Copilot for Security,旨在“帮助用户以机器的速度进行防御”;谷歌去年也发布了 网络安全 专有大模型,已经应用到云安全能力中心;全球 网络安全 巨头Paloalto、Crowdstrike已经在安全运营平台上集成了大模型的安全运营能力。在AI浪潮推动下,Paloalto已经成为全球第壹家市值突破千亿的安全公司,Crowdstrike,从去年直到今天市值已经增长了超过1倍,也迫近千亿美元。

  “在中国,80%以上的 网络安全 公司都在将大模型技术集成到 网络安全 产品中,30%的企业已经开始做大模型安全的研究,也出现了一点安全创业的浪潮。”陈奋表示, 亚信安全 也不破例,其Security for AI计划包含了全新研发的保护算力云基础设施安全、大模型应用安全防护、大模型红蓝对抗测试等服务;AI for Security计划则聚焦 网络安全 行业垂直大模型的研发及运行于其上的智能体和安全应用。

   亚信安全 发布了 网络安全 行业领域自研大模型——信立方。记者了解到,信立方大模型可以执行 网络安全 行业的精准问答、复杂的告警日志解读、深度的 网络安全 事件分析等专用场景。

  另外,国内其它安全厂商也正在试水安全领域的垂直大模型,例如奇安信推出了Q-GPT和大模型卫士、 深信服 有安全GPT2.0, 启明星辰 等厂商也都推出了相关产品。

  在AI技术飞速发展的浪潮下,AI安全问题非常重要。但即便像OpenAI这样的巨头,也被曝出“超级对齐团队”疑似解散,并没有分给AI安全充分的资源与关注度,其它更多追赶其后的AI企业,在平衡技术与安全的问题上则面临更大的经济压力。

  值得注意的是,AI安全其实不是一个可选项,而是必选项,业界不得不为之投注更大的精力与资金。

手机扫码浏览该文章
 ● 相关资讯推荐
【人工智能】人形机器人概念持续火热!人工智能ETF(515980)上涨4.72%冲击3连涨!芯原股份20cm涨停
【人工智能】报告 - 防范AI可能引发的负面问题 共建人工智能治理体系
【人工智能】AI周报 - AI搜索初创公司Perplexity估值激增至90亿美元;英伟达市值超过苹果
【中国移动】中国移动董事长 - 最新研判
【人工智能】毕马威中国李砾 - 人工智能将带来金融行业的-旧场景升级-与-新场景变革-
【人工智能】社论 - 推动金融业高水平开放,打造-投资中国-品牌
【人工智能】证监会副主席李明 - 已取消外资证券基金期货公司外资股比限制 外资机构在经营范围和监管要求上实现国民待遇
【中国平安】保险业第一位,中国平安领跑-财富-亚洲金融科技创新者榜单
【叮咚买菜】科技早报 - 王慧文或已回归美团;马斯克身家单日增长209亿美元
【低空经济】催化不断!盘后又传来重要消息
 ● 相关资讯专题
人工智能】  【青岛啤酒】  【5000万】  【科技有限公司】  【人工智能ETF】  【进博会】  【迪士尼】  【Perplexity】  【英伟达】  【中国移动】  【算力网络】  【董事长】  【金融行业】  【旧场景升级】  【新场景变革】  【金融业】  【外资机构】  【证券基金】  【期货公司】  【中国平安】  【亚洲金融】  【《财富》】  【科技创新】  【保险业】  【叮咚买菜】  【马斯克】  【低空经济】  【自主可控】