安大互联
财经热点 > 财经资讯 > OpenAI-超级对齐-团队解散后 谁还能为AI失控负责?
【人工智能】OpenAI-超级对齐-团队解散后 谁还能为AI失控负责?
浏览次数:【591】  发布日期:2024-5-22 12:25:58    文章分类:财经资讯   
专题:人工智能】 【OpenAI】 【超级对齐
 

  OpenAI内部不同阵营对AI的安全性分歧正在逐步袒露。

  在OpenAI宣布向公众免费提供迄今为止最强大的 人工智能 模型GPT-4o后,OpenAI首席科学家苏茨克维尔(Ilya Sutskever)及“超级对齐”团队责任人Jan Leike于上周相继宣布辞职,理由是不认可OpenAI领导层的“核心优先事项”,且近几个月来,团队“资源不足”,完成研究变得越来越困难。

  “建造比人类更聪明的机器本质是一项危险的工作,但在过去的几年间,安全文化和流程已经让位于闪亮的产品。”Leike在社交平台X上写道。“对齐”或“超级对齐”是 人工智能 领域中使用的术语,指训练 人工智能 系统在人类需求和优先事项范围内运行的工作。

  在Leike辞职前,苏茨克维尔已经宣布离职,这也宣告OpenAI的“对齐”团队正式解散。OpenAI表示,团队成员将被整合进其它研究小组,以更好地帮助OpenAI实现其超级对齐目标。

  构建AI本质是一项“危险工作”

  去年11月,OpenAI上演“宫斗剧”时,就曾传出撤销总裁奥尔特曼(Sam Altman)的人正是苏茨克维尔。

  当时双方的矛盾在于,以奥尔特曼为代表的一群“激进派”人士认为 人工智能 的快速发展,尤其是公共部署对于AI的压力测试和完善技术非常重要;而以苏茨克维尔为代表的另一方则认为,最安全的前进道路是先在实验室里全面开发和测试 人工智能 ,以确保它对人类来说是安全的。

  这样的争议在自动驾驶诞生时已经存在。人们到底应该让自动驾驶在密集的城市道路上释放能力,以便充分掌握自动驾驶汽车的功能和缺陷,还是应该谨慎测试自动驾驶汽车,以防范不可知风险,这一分歧直到今天尚无答案。

  苏茨克维尔曾被奥尔特曼称为“全球最受尊敬的科研人员之一”。 特斯拉 总裁马斯克评价苏茨克维尔,说他是一个正直的人,而且心地善良。

  苏茨克维尔不像奥尔特曼有那么高的曝光率,他更内向,沉醉在自己的世界里。他说自己的生活很简单,除了工作几乎很少干别的,不是呆在家里就是在办公室。

  英伟达开创人总裁黄仁勋也与苏茨克维尔认识有十年之久。他称,苏茨克维尔十几年前我们时常开车从多伦多越过边疆到纽约去买一种叫做GTX 580的GPU芯片,英伟达有严格的政策,每人只能买一块,但不知为何苏茨克维尔获得了一个后备箱的芯片。“他用装满了GPU的后备箱改变了世界。”黄仁勋表示。

  但苏茨克维尔谦虚地表示:“我想只要取得哪怕一点点的真正进步,我就会认为这是成功的。”

  寻求阻止“超级智能”失控的要领

  在OpenAI,苏茨克维尔称他的优先事项不是“构建下一个GPT版本”,而是找出如何阻止超级 人工智能 “失控”的要领。他认为,ChatGPT可能是有“意识”的。他认为,世界需要认识到这种技术的真正力量,因为有一天,一些人类可能会选择与机器融合。

  这些看似疯狂的话,现在听起来其实不像一两年前那么疯狂。ChatGPT已经改变了许多人对即将发生的事情的期望,将“永久不会发生”变成“会比你想象的更快发生”。

  苏茨克维尔师从 人工智能 “教父”、计算机科学家杰弗里·辛顿(Geoffrey Hinton)。辛顿是图灵奖得主,他在过去的十多年里帮助谷歌开发AI技术。

  2012年,苏茨克维尔与辛顿等人构建了一个名为AlexNet的神经网络,他们训练该网络来识别相片中的物体,其效果远远好于当时的任何其它软件,甚至超过人类。这项研究被视为“深度学习的大爆炸时刻”。

  后来,谷歌收购了辛顿的企业DNNresearch,苏茨克维尔与辛顿一同加入谷歌。一年多后,苏茨克维尔离开谷歌,与奥尔特曼一起建立了OpenAI。

  辛顿去年也离开谷歌,转而成为AI技术的“吹哨人”,抛出“AI末日言论”的说法。他担忧 人工智能 技术的“未来版本”会对人类构成要挟,因为“它们我们时常从分析的大量数据中学习到意没想到的表现”。例如,AI系统被允许不仅可以生成自己的计算机代码,而且实际上可以自己运行该代码,这就会变得非常可怕。

  在谈到关于“超级智能”时,苏茨克维尔认为,具备超级智能的通用 人工智能 (AGI)可能会变得无法控制,从而造成灾难。这也是关注“有效利他主义”社会运动的科技工作者的担忧,他们认为, 人工智能 的进步应该造福人类。

  在苏茨克维尔看来,AGI可以助推人类做很多令人感到匪夷所思的事情,好比自动化医疗保健,成本可以便宜一千倍,效果可以提升一千倍。他认为,“超级 人工智能 ”会更深入地看待事物,会看到人类看不到的东西,但人类其实不确定这到底意味着什么。

  为了让 人工智能 模型做人类希望它完成的事情,苏茨克维尔与OpenAI的科学家Jan Leike等人领导团队,致力于 人工智能 的“超级对齐”,目标是提出一套用于构建和控制这种未来技术故障的安全程序。Leike与苏茨克维尔一起辞职,并称“OpenAI将闪耀的产品置于安全性之上”。

  盈利和安全风险如何平衡?

  很多 人工智能 科学家认为,AI大模型尚未对人类发生即刻的危险,但人类务必从现在开始就要做好准备。谷歌首席科学家杰夫·迪恩(Jeff Dean)就表示:“不仅要关注大型语言模型的潜在机遇,还要关注其风险和缺点,这一点极为重要。”

  牛津大学互联网研究院(OII)互联网研究教授、贝利奥尔学院研究员威廉·达顿(William Dutton)接受第壹财经专访时表示:“关于 人工智能 潜在风险的炒作非常多,但人们务必搞清楚到底何为风险、何为机会。这意味着我们需要更多的国际协同来了解人们对AI的思路。”

  贝恩公司全球总裁曼尼·马瑟达(Manny Maceda)近日在复旦管理学院管理大师论坛上表示:“新的经济模式正在出现,凸显了监管和政策协调的重要性,以确保技术能够被安全、负责任地部署,从而造福社会。”

  他认为,甭管是啥领域的企业,想要用好生成式 人工智能 技术并从中受益,需要进行两手抓:一方面,要确定用例的优先顺序,企业要充分考虑实施的复杂性和成本和潜在影响;另一方面,企业要重视安全、隐私和 知识产权

  清华大学国强教授、智能产业研究院首席研究员聂再清对记者表示:“感觉大模型技术的发展比想象中快,现阶段AI没有对人类造成即刻要挟,但的确需要更多关注如何保证机器能够一直服务于人,而不会反过来被坏人利用。”

  聂再清表示,相关工作和讨论应该关注大模型安全机制设计,同时关注怎样在资本和商业化进程中确保这些安全机制的执行。“学界和工业界都需要开始投入部分精力到相应的工作中,最后达成某种共识且有效的形式。”他说道,底线是确保大模型服务于人类。但他同时强调,在设计好AI的安全机制之后,继续开发AI的能力还是极为重要的。

  为应对 人工智能 的伦理和挑战,现今全球监管机构都在针对由ChatGPT引爆的生成式AI设立监管标准,其中欧盟议会已经批准了首个全面的 人工智能 法案,而中国也已经发布了《生成式 人工智能 服务管理办法(征求建议稿)》。

  上海交通大学行业研究院“ 人工智能 +”行业团队责任人史占中教授对第壹财经记者表示:“生成式AI的安全性和伦理规范值得高度关注,需要建立和完善监管制度。如果相关监管制度逐步跟上,相信生成式AI会造福更多人类。”

  史占中认为,从政府的层面来讲,要加快AI相关领域的立法,特别在金融、安全、健康等领域严格监管,厘清AI的设计者、使用者、内容生成者的权责关系,完善AI决策的问责机制,保护大众合法权益;而从社会层面来讲,应加强AI技术的监察管理,推进AI研发者遵守伦理准则与规范AI的发展。

  隐私保护问题正在发生

  比起担忧未来,AI大模型造成的安全问题正在发生。

  中国科学院院士何积丰公开表示,大模型当前面临的安全问题主要涵盖两方面,分别是隐私保护和价值观对齐两大难题。

   亚信安全 顶级副总裁陈奋表示,AGI工具将黑客生成新要挟的时间由之前的“数个月”缩减至几小时甚至几分钟;同时,攻击者开始利用大模型迅速发现软件与服务中存在的漏洞;通过人脸深度伪造来实施网络诈骗犯罪的案例也越来越多。更严重地,攻击者的目标正由以往的数字资产转向AI算力基础设施和大模型。

  “在安全监测中,短短一年时间,针对大模型的攻击手段已涌现出数十种不一样的类型。”陈奋表示,攻击者的步伐总是快防御者一步,他们可以快速通过AGI工具生成病毒代码,挖掘漏洞。未来防御检测需要由AI原生驱动,也许现在没有做到100%,但会尽力实现全面集成。

  大模型时代的安全攻击目标范围也相应发生了变化,攻击者已经在慢慢增加或转移攻击目标,如攻击AI算力基础设施,2024年便有一处美国几千万算力集群被黑客攻击,攻破之后算力被用来挖掘比特币。同时,可能受攻击的群体也包含了家庭个人用户,从传统个人桌面、手机逐渐演化到 智能家居 、智能汽车,甚至未来每个家庭都有一个 人工智能 ,这群 人工智能 该如何进行保护,也是需要提前防护的范畴。

  对于AI伦理,陈奋对记者表示,AI safety更多是大模型算法公司,和产业界共同蹈厉奋发的成果,不是单靠一家公司能够实现的。对该领域更多是技术发展规范的思考,对技术底层的要求,而不是单一商业化的事情。

  不论是AI技术防护还是AI伦理问题,都需要产业链上下游的共同努力。 亚信安全 顶级副总裁兼CDO吴湘宁对记者表示,大模型产业链非常长,最终落地进程中会发现有更多企业参与进来,尤其是以大模型为基础的周围业态会更加丰富。真正做大模型的主要聚焦在几个头部,但整个利用大模型的企业或行业会越来越多,这就对整个AI安全生态提出新的要求,仅把大模型安全做得好没有用。

  但在当下的节点,建立全产业链针对AI安全的联盟组织在吴湘宁看来难度有点大,行业目前也暂时没有想清楚到底该如何落地,各个位置均有自身的落地思路与探索过程,但参与方会尽力参与相关标准的制订规划。

手机扫码浏览该文章
 ● 相关资讯推荐
2024-7-8【大模型】人形机器人正成为行业变革力量
2024-7-8【人形机器人】多家公募竞相直播人工智能大会 - 人形机器人有望迎来贝塔机会
2024-7-8【人工智能】WAIC 2024 - 大模型需要颠覆性应用,依靠技术与产业积累
2024-7-8【大模型】人形机器人正成为行业变革力量 - 2024 - WAIC展现四大趋势
2024-7-7【亚里士多德】2024孔子与亚里士多德论坛将于7月11至12日在北京举办
2024-7-7【大模型】大模型如何-卷-才能制胜?对话面壁智能首席科学家刘知远
2024-7-7【大模型】人工智能大会深观察 - AI爱因斯坦何时才能出现?缩放定律放缓意味着什么?
2024-7-7【XREAL】XREAL参展人工智能大会 - 多款AR设备受追捧
2024-7-7【Meta】南财合规周报-第149期- 实测9款AI产品填高考志愿;欧盟新法向Meta挥刀
2024-7-7【人工智能】中金研究院吴慧敏 - AI将带动中国经济增长比基准水平提高近10%
 ● 相关资讯专题
大模型】  【人工智能】  【人形机器人】  【WAIC】  【亚里士多德】  【2024】  【共同体】  【刘知远】  【科学家】  【创业公司】  【XREAL】  【吴克艰】  【智能大会】  【Meta】  【反垄断】  【高考志愿】  【吴慧敏】  【研究院】 
  • 网络建设业务咨询

   TEl:13626712526