安大互联
财经热点 > 财经资讯 > OpenAI成立新的安全委员会 - 对AI安全的关注点转向了吗?
【OpenAI】OpenAI成立新的安全委员会 - 对AI安全的关注点转向了吗?
浏览次数:【513】  发布日期:2024-5-30 13:04:50    文章分类:财经资讯   
专题:OpenAI】 【委员会】 【大模型
 

  OpenAI关于安全治理的舆论风波迎来新进展,“超级智能对齐”团队解散后,近日OpenAI宣布成立了一个新的安全委员会。该委员会由OpenAI 总裁萨姆·奥尔特曼(Sam Altman)等人领导,并宣布公司已经开始训练下一个前沿模型。OpenAI在当天发布的一份声明中表示,该安全委员会将就项目和运营的关键安全决策向董事会提供建议。

  从公开的信息看, 新安全委员会的职责与此前OpenAI解散的“超级智能对齐”团队不完全一致。投行D.A.Davidson分析师Gil Luria表示,新的安全委员会标志着OpenAI完成了从一个不明确的非营利实体向商业实体的转变, 这应该有助于简化产品开发,同时保持问责制。

  此前OpenAI成立“超级智能对齐团队”曾引发关于AGI(通用 人工智能 )是否已经实现、是否符合人类价值观的讨论。

  除此之外,目前业界关心的另一大话题是AI训练和应用是否会引发新的安全问题,如数据泄露、 网络安全 攻击等。OpenAI的安全团队经历更迭,关注焦点或许也已发生转向。

  安全团队调整告一段落

  OpenAI安全团队的调整早已经开始。

  上一次备受关注的事情是OpenAI联合开创人兼首席科学家伊利亚·苏茨克沃(Ilya Sutskever)离职。当地时间5月14日,苏茨克沃宣布将离开OpenAI。外界关心的是,苏茨克沃离开后,其负责的OpenAI“超级智能对齐”团队是否仍然“安好”。不久后,OpenAI证实“超级智能对齐”团队已解散。

  “超级智能对齐”团队有特殊职责。该团队去年7月成立,致力于研究防止AI系统异常的技术解决方案,对齐的意思是要求AI全面的目标要和人类价值观与利益相一致。基于苏茨克沃我在公开讲话中对安全的强调,和去年11月他参与了OpenAI董事会对奥尔特曼的解雇行动,人们对OpenAI是否已经实现AGI多有猜想,甚至猜想OpenAI对于相关事项有所隐匿、苏茨克沃与奥尔特曼之间存在嫌隙。

  外界认为OpenAI隐匿了大模型最新进展的证据是,苏茨克沃去年10月在一次采访中提到,ChatGPT可能有意识,世界需要清醒认识到他的企业和其它公司正在创造的技术的真正力量。有人猜想苏茨克沃看到了AGI。在今年3月的一次对谈中,奥尔特曼澄清,他和苏茨克沃都没见过AGI,并表示苏茨克沃不会考虑一年内会发生什么, 而是考虑十年后会发生什么。

  不管咋样,OpenAI新的安全委员会的成员和责任与“超级智能对齐”团队不完全一致。OpenAI在相关公告中表示,公司构建和发布在能力和安全性上行业可靠的模型并为此感到骄傲,但仍欢迎在这个重要时刻进行激烈辩论。新的安全委员会将在未来90天内评估和进一步完善OpenAI的流程和保障措施,90天后与全体委员分享建议,董事会审查后将公开分享最新情况。

  除奥尔特曼,该安全委员会人员还包含OpenAI董事会成员Bret Taylor(布莱特·泰勒)、Adam DAngelo(亚当·德安杰罗)、Nicole Seligman(尼克·塞利格曼),和首席科学家Jakub Pachocki(雅各布·帕乔奇)、OpenAI早期筹备团队的Aleksander Madry(亚历山大·马德里)等,均为OpenAI内部成员。OpenAI还承诺将聘请第叁方安全、安保和技术专家来支持委员会工作。

  业内在关注什么?

  解散“超级智能对齐”团队并成立新安全委员会,OpenAI可能是有多种考虑。

  外界认为,OpenAI内部对AI的发展有两种态度,保守派强调安全和OpenAI的基本价值观,苏茨克沃是保守派代表人物,另有一派更强调加快发展和商业化,奥尔特曼是这一派代表人物。除了苏茨克沃对安全问题的考虑长远且谨慎、外界认为他与奥尔特曼加快商业化的思路存在不答应见,“超级智能对齐”团队此前占用OpenAI资源还颇多。

  OpenAI曾表示,将在4年内向该“超级智能对齐”团队投入20%计算资源。而此次宣布新安全委员会建立的公告中,OpenAI未提及将向该委员会投入的资源。

  从资源分配的视角,若减少安全团队的投入,OpenAI便可以更关注商业化。OpenAI已在加快商业化,近期的春季更新发布会上,OpenAI推出适用苹果macOS的桌面应用。近日还有消息称,苹果与OpenAI达成协议, 将在今年的iOS 18系统中引入一系列生成式AI功能。鉴于OpenAI已在商业化上逐步推进,一名互联网厂商AI相关责任人向记者分析, 苏茨克沃离职的相关变动对OpenAI的商业化方向应该不会有太大影响。

  包含OpenAI在内,近期业内对大模型应用落地给予了更多关注。在安全问题上,业内讨论更多的则是法律法规制定和AI训练和应用时可能引发的具体安全问题。今年5月,欧盟理事会正式批准《 人工智能 法案》,作为全球首部AI领域全面监管的法规,该法案采取“风险分级”监管模式,对不同级别风险设置相应合规要求,涉及版权保护、数据和隐私保护等。

  国内多家大模型厂商则关注大模型训练和应用中的数据泄露等诸多问题。

  近日接受第壹财经等媒体采访时,腾讯云安全总经理李滨表示,大模型安全涉及模型本体安全、内容安全、 数据安全 和应用安全多个方面。模型本身涉及数据合规性和 人工智能 道德准则,模型预训练和微调、用户输入输出进程中涉及高价值数据、交互数据,显现较复杂的 数据安全 问题,大模型应用中还需有安全控制机制,以控制内容输出。另有安全专家对记者说,需关注的安全问题还包含恶意大模型网络犯罪、诈骗,和语料库非法获取、训练数据不合适造成输出文本显现偏见、数据存储环节数据泄露、恶意内容生成风险。

  业界相关尝试包含此前火山引擎推出大模型平台火山方舟,针对数据泄露等风险,该平台上线了基于安全沙箱的大模型安全互信计算方案,利用计算隔离等方式保障模型机密性和完整性。360集团、 中国电信 则推出相关安全大模型,以大模型技术应对AI治理相关风险。

手机扫码浏览该文章
 ● 相关资讯推荐
2024-10-4【OpenAI】OpenAI又失一员猛将!Sora负责人之一宣布跳槽谷歌Deepmind
2024-10-3【OpenAI】估值1570亿美元!OpenAI完成66亿美元融资,被曝要求投资者-二选一-
2024-10-3【OpenAI】全球万亿独角兽诞生 - OpenAI剑指五大竞争对手
2024-10-3【OpenAI】史上最高!OpenAI官宣获66亿美元融资 - 估值超1500亿美元
2024-10-2【英伟达】美股三大期指小幅走低 热门中概股盘前继续飙涨- 今夜看点
2024-10-1【人工智能】美股成交额前20 - 苹果涨超2% 消息称苹果不再参与OpenAI融资轮谈判
2024-9-30【OpenAI】OpenAI被曝新内幕 - 高管5月就作好倒闭准备!-宫斗-吓跑投资者 苹果也不投了
2024-9-30【刘韵洁】大模型一体机成趋势!模型微调重要性凸显 浪潮信息最新入局-行业动态
2024-9-29【2024】新鲜早科技 - 消息称苹果放弃投资OpenAI;专家热议中国算力产业发展;美团再次调整业务架构
2024-9-29【iPhone】科技早报 - 苹果公司不再参与OpenAI融资轮谈判;中国联通党组成员、副总经理曹兴信接受审查调查
 ● 相关资讯专题
OpenAI】  【Sora】  【负责人】  【Deepmind】  【投资者】  【二选一】  【独角兽】  【人工智能】  【英伟达】  【ASMPT】  【LGDisplay】  【iPhone】  【热门中概股】  【亚马逊】  【成交额】  【阿尔特】  【刘韵洁】  【浪潮信息】  【2024】  【苹果公司】  【党组成员】 
  • 网络建设业务咨询

   TEl:13626712526