11月29日,有消息称大模型草创企业月之暗面近期引入了华为诺亚方舟实验室原AI基础理论团队研究员刘征瀛作为技术责任人,据媒体透露,此前刘征瀛也曾被字节跳动高层邀约加入字节大模型团队。月之暗面方面向南都记者表示,官方暂不回复该消息。
公开资料显示,刘征瀛本科结业于北京大学元培学院,获得物理和数学双学位,后在巴黎萨克雷大学获得博士学位,主攻 AutoML(Automated Machine Learning,自动化深度学习)方向。刘征瀛主要研究方向为AI for Math及大语言模型推理能力的领会与应用。
2023年年底,刘征瀛曾发表以《AI4Math: 挑战与进展》为主题的演讲报告,当时演讲报告的摘要就提到,大语言模型(LLMs)在文本分类、机器翻译、文本摘要、常识问答等大多数自然语言处理的传统任务上已经达到了类人甚至超人的效果。然而,在符号推理、数学推理等任务上,LLMs仍然具有比较大的改进空间。
在月初经历仲裁风波后,月之暗面11月16日发布了数学模型 k0-math,据悉k0-math是Kimi推出的首款推理能力强化模型,月之暗面透露,在多项基准能力测试中,k0-math的数学能力可对标全球可靠的OpenAI o1系列可公开使用的两个模型:o1-mini和o1-preview。当时月之暗面开创人杨植麟提到,k0-math思路与o1类似,都采用了强化学习和思维链技术。
此前,杨植麟曾称月之暗面将长文本技术称之为大模型“登月计划”的第壹步,近期在交流会上,杨植麟提到数学模型和深度推理是“登月计划”第贰步,足见数学模型和深度推理在月之暗面内部的重要性。在交流会上杨植麟还提到,月之暗面主动做了业务的聚焦,并做了一点减法。“其实我们主动选择做了业务的减法,这也是我们过去一年比较大课题,我们应该聚焦一些重要的事情然后做好。我们在所有的几个大模型创业公司中始终保持人数最少,同时卡(算力)和人的比率是最高,我认为这个非常关键。”
谈及Kimi与字节豆包的竞争,杨植麟当时回应称,目前月之暗面还是更希望关注用户怎么给用户真实的价值,不过多去关注竞争本身,因为竞争本身其实不发生价值。“我认为我们核心是传递更好的技术和产品,给用户创造更大的价值。我们会更聚焦怎么提升模型的思考推理能力,坚持做正确的事情,而不专门去做不同 的事情。因为我认为只要有人实现AGI都是非常不错的结果。”
另外,有消息称,Kimi目前正内测AI视频生成功能“Kimi创作空间”,可通过多种预设风格模板和自定义创作功能,为用户制作个性化音乐视频。月之暗面方面回应南都记者称,Kimi视频生成正在灰度测试中。