2024年6月14日，AI行业盛会“2024北京智源大会”在中关村展示中心开幕。《每日经济新闻》在现场注意到，在全体大会中的主题讨论环节，零一万物总裁李开复与清华大学智能产业研究院院长、智源学术顾问委员张亚勤对谈。

　　张亚勤谈到了大模型的“三个做对了”和“三个目前需要改进”。

　　关于“三个做对了”，张亚勤提出：

　　首先，规模定律Scaling Law。规模定律的实现，主要得益于对 海量数据 的利用和算力的明显提升。再加上如今的Diffusion和Transformer架构能够高效地利用算力和数据，使得“飞轮效应”得以正循环。尽管有人疑问Scaling Law在2~3年后是否仍然有效，但张亚勤个人认为至少在未来5年间，它仍将是产业发展的主要方向。

　　其次是“Token-Based”统一表述方式。在大模型中，“Token”是一个基本元素。甭管是文本、语音、图像、视频，还是自动驾驶中的 激光雷达 信号，甚至是生物领域的蛋白质和细胞，最终都能抽象为一个Token。Token之间的练习、学习和生成是核心环节，这与我们大脑中的神经元工作原理相似，不管执行何种任务，其基础机制都是相同的。

　　最后是通用性。这与Token紧密相关。如今的通用性不仅表现在文本处理上，还扩展到了多模态领域，甚至可以生成如蛋白质等复杂结构。另外，它在物理世界（如具身智能）和生物世界（如生物智能）中也有着广泛的应用前景。

　　以上这三个是大模型做对的，而关于现阶段的主要问题，张亚勤也提出了三个点：

　　第壹个，效率较低。尤其是大模型的计算效率低下问题，与人类大脑的高效性形成了鲜明的对照。人类大脑拥有860亿个神经元，每个神经元又有数千个突触连接，却只需要20瓦的能量，重量还不到三斤；而GPT4这个万亿参数模型则需要巨大的算力和能源，与人脑相比相差1000倍之多。另外，人脑能够根据不一样的情境灵活调用不同区域的神经元，而大模型却每次输入一个问题都要调用和激活几乎大量参数。因此，如何借鉴人类大脑的计算方法，在降低计算耗能、提高效率方面进行探索和创新，是一个值得注意的方向。

　　第贰个，大模型目前还未能真正理解物理世界，相关的推理能力、透明性和幻觉等诸多问题都还在深入研究中。有一个重要的问题是，即便我们的大模型做得再好，它在生成式表述与对真实世界的描绘之间仍存在矛盾。因此，我们需要探索如何将生成式的机率大模型与现有的“第壹性原理”或真实模型、知识图谱相结合。目前，虽然已经有了一点尝试，如采用RAG技术或进行微调，并获得了一定的进展，但张亚勤认为这些方法其实不是根本解决方案。张亚勤预测，在未来五年内，将会有一个全新的架构出现，这个架构有望取代当前的Transformer和Diffusion模型。

　　第叁个欠妥的地方是界限问题。现在大模型无法知道“我不晓得什么”，这是目前要处理的问题，是它的界限效应。