安大互联
财经热点 > 财经资讯 > 奥尔特曼领衔成立新安全委员会 - OpenAI安全文化警报解除了吗
【OpenAI】奥尔特曼领衔成立新安全委员会 - OpenAI安全文化警报解除了吗
浏览次数:【417】  发布日期:2024-5-29 19:37:31    文章分类:财经资讯   
专题:OpenAI】 【委员会】 【董事会
 

  OpenAI正雄心勃勃规画着下一代 人工智能 (AI)软件,但原安全团队的解散与核心成员的集体“跳船”,也给这家AI“当红炸子鸡”企业拉响了安全警报。

  当地时间28日,OpenAI首席执行官奥尔特曼(Sam Altman)领衔成立了该公司全新的安全委员会,监督全面的后续开发,原安全团队离开造成的隐忧和安全文化警报就此解除了么?莱克指责OpenAI

  “宫斗”表象平息,分歧并未弥合?

  去年7月,OpenAI组建“超级对齐”团队,其职能是确保这家公司研发的AI系统符合人类利益和价值观。然而,不到一年,该团队两位责任人本月相继出走,多位挑大梁成员主动辞职或被解雇,OpenAI也在本月中旬将这一团队完全解散。

  去年11月,奥尔特曼在所谓“高层内斗”中被董事会闪电解雇,又在短短数日后重返原职。而这场激烈变动的起因,被认为正是OpenAI内部对于AI安全性的巨大分歧。

  OpenAI联合开创人兼首席科学家苏茨克维尔(Ilya Sutskever)是“超级对齐”团队的责任人之一,也被视为奥尔特曼被解雇事件的发起人之一。相比奥尔特曼对AI领域技术进步的乐观态度,苏茨克维尔要小心谨慎得多,他认为,通用 人工智能 (AGI)的发展可能“会出现雪崩”,从而给人类社会造成不可控的毁灭性风险。因此,第壹批AGI的底层信念将极其重要,“务必为其正确地编写程序”。

  这场“高层内斗”后,奥尔特曼领导OpenAI照常推进技术转化与成果发布。今年2月,OpenAI推出了支持将文本转化为视频的模型“Sora”,并在5月发布了新旗舰模型GPT-4o,它比去年11月发布的GPT-4 Turbo快两倍,在视觉和音频理解上也更先进。

  苏茨克维尔在5月14日宣布离职时也一团和气地表示,OpenAI将在现任领导层的率领下,“缔造出既安全又有益的AGI”。

  但“超级对齐”团队的另一位责任人莱克 (Jan Leike)则没有这么客气。他在社交媒体平台上披露离职原因时称,他与OpenAI高层在啥是“核心优先事项”上存在不答应见,并已到了不可弥合的临界点。

  “我认为我们应该花更多精力在准备下一代模型上,重视安全、监控、准备、对抗性的稳健、(超级)对齐、保密、社会影响等相关问题。这些问题非常难以解决,我忧虑的是,我们并没有在达成这些目标的轨道上。”莱克称,“过去几个月,我们的团队遭遭遇阻力,有时为了算力而挣扎,要完成这些关键研究越来越难。”

  莱克写道:“OpenAI务必成为一家安全优先的AGI公司。”几天后,莱克宣布加入OpenAI的竞争对手Anthropic,领导一个新的“超级对齐”团队。

  Anthropic首席执行官阿莫迪(Dario Amodei)也身世于OpenAI。据了解,由于无法认同后者越来越商业化的发展方向,他率领多位前OpenAI员工开办了现公司。

  除了上述两位重量级人物,同样出走OpenAI的还有“超级对齐”团队成员桑德斯(William Saunders)、科科泰洛(Daniel Kokotajlo),负责对外沟通和社区建设的基尔帕特里克(Logan Kilpatrick),和AI政策研究员克鲁格(Gretchen Krueger)和奥基夫(Cullen OKeefe)等人。另外,超级对齐团队成员阿申布伦纳(Leopold Aschenbrenner)和伊兹迈洛夫(Pavel Izmailov)则因泄露信息给媒体记者而在4月份被解雇。

  科科泰洛称,他对OpenAI在发布能力越来越强的AI时是否“负责任”失去信心。克鲁格也呼吁该公司提高其责任感和透明度,和“谨慎使用自己的技术”。

  安全文化和闪亮的产品

  当地时间28日,OpenAI成立了新的安全与保障委员会,负责监督与公司项目和运营相关的关键安全决策。但OpenAI并未选择外部观察员参与监督,这一委员会由公司内部人员组成,包含奥尔特曼和多位OpenAI董事会成员等。

  OpenAI表示,该委员会将与OpenAI董事会全体成员分享其调查结果和建议,以供审查,届时将“以符合安全和保障的形式”公布任何被采用建议的最新情况。

  “OpenAI最近已经开始训练下一个前沿模型,我们预计由此引发的系统将使我们在通往AGI的道路上达到更高的能力水平。”OpenAI写道。

  去年11月,奥尔特曼在接受采访时表示,他的大部分时间都在研究“如何缔造超级智能”,但该公司负责全球事务的副总裁马坎居(Anna Makanju)和讲话人布尔乔亚(Liz Bourgeois)之后都否认,该公司的“使命”其实不是开发超级智能,而是通用 人工智能 (AGI)。相比具有人类水平的AGI,超级智能是指超越人类智力水平的AI系统。

  OpenAI在官方网站和开创公告中明确指出,公司的使命是确保AI技术的发展是“安全且广泛受益”的。这意味着,一方面,AI技术务必是安全的;另一方面,AI技术造成的好处应该惠及所有人,而不只是特定群体。

  在美国硅谷从事AI方向创业、也曾在多家科技企业负责AI相关产品开发的Iris此前对第壹财经记者表示,OpenAI的企业发展进程不可避免地造成了这场“安全文化”之争。

  Iris表示,最早期的OpenAI作为非营利组织成立,尤其是在模型研发阶段,更多以技术创新为基础。“这一时期的OpenAI非常强调安全性,因此,苏茨克维尔这样技术背景身世的开创人话语权非常大。”她称,但随着技术的发展,当到产品市场匹配阶段,OpenAI更多开始准备如何让这些技术惠及更多人。

  Iris认为,这一阶段,“公司的发展将完全依赖产品和业务的商业化,这意味着需要将产品更有效地推向市场”。

  而这或许也是为啥莱克在其离职声明中写道:“在过去的几年间,安全文化和流程已经被闪亮的产品所替代。”

手机扫码浏览该文章
 ● 相关资讯推荐
2024-7-3【iPhone】苹果料将获得OpenAI董事会观察员职位
2024-7-3【委员会】美国联邦贸易委员会-FTC-主席将于7月9日在众议院委员会就预算问题作证
2024-7-2【澳储行】-财经分析-澳大利亚货币政策前景仍不明朗
2024-7-2【北京市】北京市房山区城市管理委员会原党组书记、主任张杰接受审查调查
2024-7-2【新巨丰】无菌包装收购第一案难消化!纷美包装发公开信-炮轰- 新巨丰独家回应
2024-7-2【Meta】欧盟新法第二次挥刀 挥向Meta-付费去广告-
2024-7-2【美国国际贸易委员会】美国对进口自中国的亚硝酸钠发起第三次双反日落复审调查
2024-7-2【王一新】最高人民检察院依法对王一新决定逮捕
2024-7-2【新湖中宝】易主即将收官!新湖中宝董事会改组,衢州国资将成实控人
2024-7-2【英伟达】小K播早报-工信部发布脑机接口标准化技术委员会筹建方案 英伟达或面临反垄断诉讼
 ● 相关资讯专题
iPhone】  【俄罗斯】  【苹果公司】  【安全局】  【观察员】  【董事会】  【OpenAI】  【委员会】  【FTC】  【众议院】  【澳储行】  【澳大利亚】  【货币政策】  【通胀率】  【北京市】  【房山区】  【城市管理】  【新巨丰】  【纷美包装】  【无菌包装】  【公开信】  【Meta】  【欧盟委员会】  【Facebook】  【付费去广告】  【美国国际贸易委员会】  【日落复审】  【反倾销】  【反补贴】  【硝酸钠】  【王一新】  【最高人民检察院】  【黑龙江】  【新湖中宝】  【上市公司】  【独立董事】  【新湖集团】  【英伟达】  【脑机接口】  【标准化】 
  • 网络建设业务咨询

   TEl:13626712526