“Scaling Law(标准定律)的确遇到了一点挑战,从语言能力上来看,大模型的确已经达到天花板:所有的能力已经接近人类的极限、人类专家可以评价的极限。”
曾经被视为大模型“金科玉律”的Scaling Law似正逐渐放缓,影响了下一代大模型推出的节奏,这已成为AI圈内热议的话题。11月29日,在接受澎湃新闻等媒体采访时, 人工智能 独角兽 企业、智谱AI 总裁张鹏直言自己的说法。
当天,在智谱的Agent OpenDay(智能体开放日)上,他宣布智能体AutoGLM再次升级,支持自主执行超过54步的长步骤操作,也可以跨App执行任务,借助智谱产品化的Agent,AI第壹次给人类派发了微信红包。
此前10月28日,智谱曾推出自主智能体AutoGLM,可以实现取代人类控制电子设备,不用动手就能完成点外卖、朋友圈点赞、高铁购票等常见的电话操作。
“大家因为Scaling Law撞墙,就担忧整个行业会突然进入低谷期,这个担忧可能有点多余。就像我们担忧 人工智能 会统治人类一样,还有点太早,无妨让子弹飞一会儿。”张鹏表示。
大模型最终阶段是全面超越人类
张鹏认为,大模型的发展可以分为L1-L5共五个阶段:L1阶段,有语言能力,AI学会使用语言,在大多数自然语言任务上突破图灵测试;L2阶段,有人类水平的问题求解能力,AI学会求解问题,涌现世界知识和类人的复杂逻辑推理能力,在求解问题方面突破图灵测试。
L3阶段,能使用工具,系统可以执行动作,在使用工具方面突破图灵测试;L4阶段,能自己发明创新,Al通过自我学习,实现GPT到GPT-zero的升级,具备自我批判,自我改进和自我反思能力;L5阶段,AI能力全面超越人类,具备探究科学规律、世界起源等终极问题的能力。
大模型何时能落地应用,曾经是AI行业的热点话题。百度总裁李彦宏曾表示,不要卷模型,要去卷应用,还要避免掉入“超级应用陷阱”,“超级能干”的应用比只看DAU的“超级应用”更重要。
李彦宏还提到,应用其实其实不遥远,最容易的是智能体,这也是百度最看好的AI应用的发展方向。
不过,对于AI应用的竞争,杀入红海的不仅有智谱这样的 独角兽 创业公司,更有字节跳动、腾讯等互联网巨头,面对和大厂的竞争,智谱AI 总裁张鹏回应称,“我们对这个事的领会在于底层技术,不是容易的单项文本技术能力的提升,最终目标是帮助大家切切实实解决生产力问题,不是容易的快速盈利。我们和很多合作伙伴探索、构建属于自己的应用和商业模式,这是我们与大厂不同 的地方。”
业内人士热议Scaling Law
大模型行业奉行的是大力出奇迹,而Scaling Law放缓已成为行业共识。
在最近的乌镇互联网大会上,360开创人周鸿祎在接受媒体采访时表示,OpenAI试图缔造一个全知全能超级通用大模型的可行性存在疑问,一方面人类训练数据几近枯竭,Scaling law遭遇了巨大瓶颈;另一方面,想要开发一个放诸四海皆准的大模型在逻辑上也很难自恰。
而月之暗面总裁杨植麟也同意,如今Scaling Law已经进入了瓶颈期。在他看来,AI的发展就像在荡秋千,在两种状态之间来回切换,“一种是算法、数据准备好了,但算力不够。”他认为,到了今天,规模已经到达了一定的水平,会发现再加更多的算力,也不一定能处理问题,其中关键问题是没有高质量的数据。这时要做的事便是改变算法,突破瓶颈。现在这是他所在的企业甚至整个行业都面临的共同问题,“好的算法能够释放Scaling的潜力,让模型持续变得更好。”他认为,强化学习是接着很关键的一个趋势。
OpenAI原首席科学家伊利亚·苏茨克维(Ilya Sutskever)更是公开表示,扩大预训练的结果已经达到了平台期,“20十年代是规模扩大的时代,现在人们又回到了奇迹和发现的时代。每个人都在寻找下一个东西。”
“Scaling Law的确不像我们之前预测的一样,指数级的往上涨。我们团队比较乐观,觉得有大把的空间和机会使用Scaling突破技术上的鸿沟。”张鹏告诉澎湃新闻记者,智谱瞄向的是AGI(通用 人工智能 ),Scaling只是现象,更关键的是计算量的sacling,扩散模型、Dit、强化学习等不同路径都是在增加计算量。
值得注意的是,智能体在调用数据的安全性也受到外界关注。
对此,张鹏回应称,“这是一个重要话题,我们在考虑如何采用更安全的要领解决,相信把问题摆在桌面上大家正面对待,总有办法。”值得注意的是,AutoGLM目前仍处在内测的状态,对于其它行业可能引发的影响,他坦言,“我们没必要把自己圈在一个圈子或天花板下内卷,应该努力寻找新的存在性。”
公开资料显示,建立于2019年的智谱是清华大学计算机系技术成果转化公司。智谱于今年9月5日完成了新一轮融资,融资金额达数十亿元人民币。本轮融资金额是在投前200亿元的估值基础上完成的,这使得智谱AI成为国内第壹家突破200亿估值的大模型公司。