奇安信集团29日发布的《2024 人工智能 安全报告》显示，2023年基于AI的深度伪造欺诈暴增3000%，基于AI的垂钓邮件增长1000%；已经有多个有国家背景的APT组织利用AI实施了十余起网络攻击事件。《报告》认为， 人工智能 技术的恶意使用将快速增长，在政治安全、 网络安全 、物理安全和军事安全等方面构成严重要挟。

　　2022年以后，以ChatGPT为代表的AI技术快速崛起，IDC调研显示，67%的中国企业已经开始探索AIGC在企业内的应用机会或进行相关资金投入。IDC预测，2026年中国AI大模型市场规模将达到211亿美元， 人工智能 将进入大规模落地应用关键期。

　　《报告》认为，AI是一种通用技术，通用就意味着既可以用来做好事，也可以被用来干坏事。具有巨大潜力的AI技术造成两大主要挑战：一是放大现有要挟，另外一个是引入新型要挟。数据显示，2023年基于AI的深度伪造欺诈暴增3000%，基于AI的垂钓邮件数量增长1000%；奇安信要挟情报中心监测发现，已经有多个有国家背景的APT组织利用AI实施了十余起网络攻击事件。

　　《报告》深入研究了基于AI的深度伪造（Deepfake）、黑产大语言模型基础设施、利用AI的自动化攻击、AI武器化、LLM自身安全风险、恶意软件、垂钓邮件、虚假内容和活动生成、硬件 传感器 安全等12种重要要挟，对其技术原理、危害情况、真实案例等进行了深入剖析，旨在让业界更全面的理解到AI普及造成的要挟和挑战。这些基于AI的新型攻击种类与手段不断出现，已经在全球造成严重危害。

　　《报告》还认为，AI与大语言模型本身随同着安全风险，业内对潜在影响的研究与重视水平仍远远不足。全球知名应用安全组织OWASP发布大模型应用的十大安全风险，包含提示注入、数据泄漏、沙箱不足和未经授权的代码执行等。另外，因训练语料存在不良信息，造成生成的内容不安全，正持续引发灾难性后果，危害国家安全，公共安全和个人安全，这些都亟需业内高度重视和积极应对。

　　《报告》建议，安全行业需继续施展能力优势，确保 人工智能 本身的安全性，并积极利用 人工智能 用于安全防护；监管机构需要对AI潜在风险与影响保持持续关注，在制度和法规上及时提供支持；政企机构需及时部署AI安全框架和解决方案，和AI安全评估服务和检测工具，还要依托AI推动安全升级；网络用户在尝试最新AI应用的同时，同样需要更新安全知识，形成良好的安全习惯。

　　奇安信安全专家认为，AI技术将会推动安全领域发生范式变革，全行业需启动 人工智能 网络防御推进计划，包含利用防御 人工智能 对抗恶意 人工智能 ，以扭转“防御者困境”。