安大互联
财经热点 > 财经资讯 > 大模型争锋 - 左手-世界最强- 右手-高性价比-
【Meta】大模型争锋 - 左手-世界最强- 右手-高性价比-
浏览次数:【593】  发布日期:2024-7-27 4:11:07    文章分类:财经资讯   
专题:Meta】 【大模型】 【Llama】 【高性价比】 【世界最强
 

  2020年,OpenAI团队发表论文,正式提出了大模型开发的经验法则Scaling Law,目前它并没有统一的中文名称,大致可以解读为“规模法则”,更通俗地说是“大力出奇迹”。2022年年底,ChatGPT的横空出世验证了“规模法则”的“智能涌现”能力——规模越大,效果越优。要提升模型效果,就需要不断扩大参数规模、训练数据量、计算资源三要素的规模。自此,Scaling Law被大模型厂商奉为圭臬,一场重点围绕算力、参数的全球AI竞赛打响,并在大模型的狂飙突进中不断升温,如今仍未休止。

  继今年4月微软和OpenAI被曝筹建一个可能耗资超千亿美元的AI超级计算机后, 特斯拉 总裁埃隆·马斯克旗下的 人工智能 公司xAI、研发开源大模型Llama的Meta近日里均有新动作,喊出了“世界最先进”“最强大”的旗帜和目标。《中国经营报》记者了解到,科技巨头仍在遵循Scaling Law各自加大AI大模型的钱财资源投入,致使大模型竞争持续白热化,而这时,通用大模型也在通过降价、开源、多参数版本等措施向“小模型”下沉拓展。

  “规模法则”持续:大资金、大算力、大参数

  7月23日,马斯克通过社交媒体宣布,xAI团队、X团队及英伟达等合作公司自当地时间7月22日凌晨开始在美国田纳西州的孟菲斯超级集群上进行训练,该集群号称“全球最强大的AI训练集群”,使用10万个液冷H100图形处理器,目标是“到今年12月训练出按每项指标衡量都是全球最强大的 人工智能 ”。这里作为对照,目前业内公开的三个高性能的超级计算机系统包含Frontier、Aurora、微软Eagle,他们使用的处理器分别是37888个AMD GPU、6万个英特尔GPU、1.44万个英伟达H100 GPU等。

  公开信息显示,xAI于2023年4月注册成立,同年11月推出了其首个AI大模型产品——Grok。今年3月中旬,xAI宣布开源3140亿参数的大模型Grok-1。5月,xAI完成了新一轮高达60亿美元的融资,估值达到240亿美元。

  与马斯克同样喊出“全球最大、功能最强的开源大模型”的是Meta公司。7月24日,Meta推出了最新的开源大模型Llama3.1 405B——405B指4050亿参数量。Meta方面介绍,这是“当前最大的开源模型”,模型的练习数据涉及15万亿个token(大模型文本处理的最小单位),使用1.6万个英伟达H100 GPU。迄今为止,Llama所有版本的总下载量已超过3亿次。

  开源大语言模型在功能和性能方面大多落伍于封闭式模型。Meta开创人兼总裁马克·扎克伯格称,开源正在迅速缩小(与封闭模式的)差距。“从明年开始,预计将来的Llama模型将成为业内最顶尖的。即便在此之前,Llama已在开放性、可更改性和成本效益方面处于领先地位。”需要说明的是,在Meta公开的Llama3.1 405B技术论文中,该模型在通用知识、可操控性、数学、工具使用和多语言翻译等方面能够与OpenAI最新的GPT-4o、Anhthropic公司的Claude 3.5 sonnet等旗舰模型相媲美,甚至在人工评估的比较中,其总体表现比这两个模型更好。

  扎克伯格及Meta坚持“开源 人工智能 的前进路线”,其“炮口”显然瞄准的是以OpenAI为代表的封闭模型公司。自然语言处理(NLP)专家、新浪微博新技术研发责任人张俊林指出,开源和闭源模型随同着时间存在能力差距,二者差距是逐步减少的,而Llama3.1 405B的出现让两条线出现了交点,“基本可以终结开源闭源之争”。Meta最 新开源 大模型的出现,对于开源模型、闭源模型来说都有重大影响。对于前者,如果能力不如LlaMa3,就需要考虑如何做出不同化和不同特色;而对于后者,如果能力赶不上Llama3,就需要向公众解释对用户收费的依据问题(除了覆盖推理成本以外的款项)。目前来看Meta继续将未来更强模型开源的决心是较大的,随着下一代的开源,或将强逼原先定位为基础模型的创业公司转向特色产品赛道。

  其实,不管开源,还是闭源,科技巨头在大模型领域的争锋,会持续随同着大算力、大参数的投入,而这背后一定期望的是大资金的注入。据美国媒体The Information援引知情人士及未公开财务文件报道,预计OpenAI今年训练ChatGPT及新模型的成本将高达30亿美元,再加上公司组织及人员运营成本,今年或将发生50亿美元的钱财缺口,这意味着OpenAI在未来12个月内需要新的钱财支持。对此报道,OpenAI官方并未予置评。

  向“小”兼容,投入构建生态

  大模型的Scaling Law最终能否通向AGI(通用 人工智能 ),目前学术界仍存有疑问的声音,但产业界科技巨头都在遵循Scaling Law探索大模型的新突破。记者观察到,大模型在做“大”的同时也在向“小”拓展兼容。

  扎克伯格表示,Meta正在推动开源AI成为行业标准,在发布前沿级AI模型Llama3.1 405的同时,还升级了Llama3.1 70B、8B两个模型。对于开发人员而言,使用Llama3.1 405B进行推理的成本约为使用OpenAI的GPT-4o等封闭模型的50%,Llama3.1将成为微调和“蒸馏”较小模型的“最佳选择”。

  商汤研究院院长田丰向记者解释,不同参数规模的模型适用于不一样的终端设备和平台,例如百亿、千亿级的大模型一般部署在云端,而百亿级以下的部署在移动终端侧。

  Meta的Llama3.1模型在上线首日即已与包含AWS、英伟达、Databricks、戴尔、微软Azure、谷歌云、Snowflake等25家企业实现合作,共同提供服务。对此,AWS(亚马逊云科技)首席执行官Matt Garman表示,客户普遍希望根据自身的具体用例自定义和优化Llama模型,通过在亚马逊云科技上访问Llama3.1,客户可以简单地开箱即用,负责任地构建AI。

  在扎克伯格看来,开源 人工智能 代表了“全球利用此项技术为每个人创造最大经济利益和安全的最佳机会”。从国家间的科技竞争来看,最好的策略是建立一个强大的开放生态系统,让领先公司与政府、盟友等密切合作,以确保能够最好地利用技术的进步,并且在长期内实现可持续的先发优势。

  就在Llama3.1面市的几目前,7月18日,OpenAI推出了新一代入门级别的AI模型GPT-4o mini,号称其是“功能最强、性价比最高的小参数模型”,旨在服务更广泛的顾客群体,对于开发人员来说能够以更低的成本、更轻量级的工具来构建AI应用。相比GPT-4o,mini版在价格上便宜了96%多,比GPT-3.5 Turbo也要便宜60%—70%。OpenAI团队称,之所以开发GPT-4o mini,是因为注意到开发人员越来越渴望使用较小的模型。

  无独有偶,谷歌在今年6月底发布了Gemma2开源大模型,这是谷歌继今年1月第壹次发布开源AI模型Gemma后的最新升级,与其未开源的Gemini大模型采取同款技术架构,主打“卖点”是开源、轻量级、免费可商用、性能佳。据介绍,Gemma2 27B模型可在单张谷歌云TPU、英伟达A100 80GB GPT或英伟达H100 GPU上运行推理。

  科技部国家科技专家库专家周迪向记者表示,小模型有应用场景,通过推出更轻便、更经济的模型来吸引更多用户。另外,大模型在做到极致后,也有可能会遇到一些瓶颈,好比算力消耗过大、训练成本过高等诸多问题。这时,将大模型进行精简和优化,推出更适合特定场景和需求的小模型,也是一个不错的决策。

  总体来看,甭管是开源、降价,还是做多尺寸、轻量化的“小模型”,都是大模型平台扩大市场占有率、推动大模型普及的举措。值得强调的是,受制于大模型的高投入壁垒,今年以来小模型快速流行起来,许多模型公司瞄准行业场景、细分领域等寻求商业化突破。由此造成一个疑问:根据Scaling Law法则,大模型的通用性、智能水平要远超过小模型,但如果小模型效果比大模型好,是否驳斥了Scaling Law的合理性?张俊林指出,国产厂商一方面要重视Llama、Gemma等开源大模型的中文化工作,拥有当前最强中文模型的能力其实不会弱于获得大量金额支持的专业大模型公司,而且投入小、性价比高;另一方面在做小模型时,要重视用Llama3.1 405B这种最强开源模型来蒸馏小模型的思路,不仅提升效果,而且也是小投入和产出的买卖。

手机扫码浏览该文章
 ● 相关资讯推荐
2024-8-27【扎克伯格】扎克伯格突然发难!宣布停止向地方政府管理选举捐款
2024-8-26【Meta】科技早报 - 苹果新款Macs或10月发布;上千名IBM中国研发人员被收回访问权限
2024-8-24【Meta】风险资产深夜狂欢 美联储降息时机已经到来 - 环球市场
2024-8-24【美联储】深夜美元大跳水!鲍威尔发声!Meta放弃高端混合现实设备
2024-8-24【美联储】全球市场 - 欧美股市集体收涨 美股三大指数均涨超1% 哔哩哔哩大涨超15%
2024-8-24【美联储】全球市场 -
2024-8-19【智能眼镜】四大国有银行股 - 再创历史新高!
 ● 相关资讯专题
扎克伯格】  【Meta】  【TikTok】  【吉姆·乔丹】  【地方政府】  【Telegram】  【赛力斯】  【IBM】  【鲍威尔】  【iPhone】  【美联储】  【风险资产】  【混合现实】  【哔哩哔哩】  【智能眼镜】  【AI眼镜】  【银行股】 
  • 网络建设业务咨询

   TEl:13626712526