对于专注于构建专业 人工智能 (AI)模型的开发人员而言,他们面临的长期挑战是获取高质量的练习数据。较小的专家模型(参数规模在10亿~100亿)通常利用“蒸馏技术”,需要利用较大模型的输出来加强其训练数据集,然而,使用来自OpenAI等闭源巨头的此类数据受到严格限定,因此大大限制了商业应用。
而就在北京时间7月23日(周二)晚间,全球AI领域的开发人员期待已久的开源大模型“ChatGPT时刻”终于到来——Meta发布最新AI模型Llama 3.1,其中参数规模最大的是Llama 3.1-405B版本。
扎克伯格将Llama 3.1称为“艺术的起点”,将对标OpenAI和谷歌公司的大模型。测试数据显示,Meta Llama 3.1-405B在GSM8K等多项AI基准测试中超越了当下最顶尖的闭源模型OpenAI GPT-4o。这意味着,开源模型第壹次击败目前最顶尖的闭源大模型。
而且,Llama 3.1-405B的推出意味着开发人员可以自由使用其“蒸馏”输出来训练小众模型,从而大大加快专业领域的创新和部署周期。
开源社区的“里程碑”
2024年4月,Meta推出开源大型语言模型Llama 3。其中,Llama 3-8B和Llama 3-70B为同等规模的大模型树立了新的基准,然而,在短短三个月内,随着AI的功能迭代,其它大模型很快将其超越。
在你追我赶的竞争环境下,Meta最新发布了AI模型Llama 3.1,一共有三款,分别是Llama 3.1-8B、Llama 3.1-70B和Llama 3.1-405B。其中,前两个是4月发布的Llama 3-8B和Llama 3-70B模型的更新版本。而Llama 3.1-405B版本拥有4050亿个参数,是Meta迄今为止最大的开源模型之一。
而在发布当天的凌晨(北京时间),“美国贴吧”reddit的LocalLLaMA子论坛泄露了即将推出的三款模型的早期基准测试结果。
泄露的数据表明,Meta Llama 3.1-405B在几个重要的AI基准测试中超越了OpenAI的GPT-4o。这对开源AI社区来说是一个重要的里程碑:开源模型第壹次击败目前最顶尖的闭源大模型。
而Meta团队研究科学家Aston Zhang在X上发布的内容,也印证了被泄露的测试数据。
具体来看,Meta Llama 3.1-405B 在IFEval、GSM8K、ARC Challenge和Nexus等多项测试中均优于GPT-4o。可是,它在多项MMLU测试和GPQA测试等方面却落伍于 GPT-4o。另外,Llama 3.1的上下文窗口(context window)涵盖128000个标记,比以前的Llama模型更大,大约相当于一本50页书的长度。
但需要强调的是,值得注意的是,这些基准反映的是Llama 3.1基本模型的性能。这些模型的真正潜力可以通过指令调整来实现,而指令调整过程可以明显提高这些模型的能力。即将推出的Llama 3.1模型的指令调整版本预计会发生更好的结果。
Llama 4已于6月开始训练
尽管OpenAI即将推出的 GPT-5预计将具备顶尖的推理能力,可能会挑战Llama 3.1在大模型领域的潜在领导地位,但Llama 3.1对标GPT-4o的强劲表现仍然彰显了开源AI开发的力量和潜力。
要知道,对于专注于构建专业AI模型的开发人员而言,他们面临的长期挑战是获取高质量的练习数据。较小的专家模型(参数规模在10亿~100亿)通常利用“蒸馏技术”,需要利用较大模型的输出来加强其训练数据集,然而,使用来自OpenAI等闭源巨头的此类数据受到严格限定,因此大大限制了商业应用。
而Llama 3.1-405B的推出意味着开发人员可以自由使用其“蒸馏”输出来训练小众模型,从而大大加快专业领域的创新和部署周期。预计高性能、经过微调的模型的开发将激增,这些模型既强大又符合开源道德规范。
宾夕法尼亚大学沃顿商学院副教授伊桑·莫利克(Ethan Mollick)写道:“如果这些数据属于事实,那么可以说顶级AI模型将在本周开始免费向所有人开放。全球各地都能使用相同的AI功能。这会很有趣。”
Llama 3.1-405B的开源,也证明开源模型与闭源模型的差距再次缩小了。
《每日经济新闻》记者还注意到,除了广受期待的Llama 3.1-405B外,外媒报道称,Llama 4已于6月开始训练,训练数据包含社交平台Facebook和Instagram用户的公开帖子。而在开始之前,Mate已经向数据隐私监管最严格的欧盟地区用户发送超过20亿条通知,提供了不答应把自己数据用于大模型训练的选项。
据了解,Llama 4将包含文本、图像、视频与音频模态,Meta计划将新模型应用在手机和智能眼镜中。
记者|蔡鼎