当前，以大模型为代表的生成式 人工智能 快速发展，但随着能力的不断提升，模型自身及其应用也造成对其一系列潜在风险的疑虑。2024世界 人工智能 大会上，上海 人工智能 实验室主任周伯文表示，“出现这些风险担忧，核心起因是我们当前的AI发展是失衡的，模型安全能力方面的提升，远远落伍于性能的提升。”

　　当下，公众对AI风险的关注包含数据泄露、滥用、隐私及版权相关的内容风险；恶意使用造成伪造、虚假信息等相关的使用风险等。另外还有人担忧 人工智能 是否会对就业结构等社会系统性问题造成挑战。在一系列关于 人工智能 的科幻电影中，甚至出现了AI失控、人类丧失自主权等设定。

　　去年5月，国际上数百名AI科学家和公众人物共同签署了一份公开信《Statement of AI Risk》，表达了对AI风险的担忧，并呼吁把防范 人工智能 造成的危险作为全球优先事项。

　　对此，周伯文表示，由AI造成的危险已初露端倪，但更多的是潜在风险。出现对这些风险的担忧，核心起因是当前的AI发展是失衡的。“总体上，我们AI模型安全能力方面的提升，还远远落伍于性能的提升。这种失衡造成AI的发展是跛脚的，我们称之为‘Crippled AI’。”

　　“目前AI性能呈指数级增长。与此形成对照的是，AI安全维度典型的技术，如红队测试、安全标识、安全护栏与评估丈量等，显现零散化、碎片化，且后置性的特性。”周伯文说。

　　“这种发展不均衡的背后，是投入上的巨大不同。可以看到，从研究是否体系化，和人才密集度、商业驱动力、算力的投入度等方面来看，全球在安全方面的投入，远远落伍于对AI能力提升的投入。”

　　周伯文提倡“TrustWorthy AGI”，也即“可信的通用 人工智能 ”。“可信AGI需要能够兼顾安全与性能，我们需要找到AI安全优先，但又能 保证AI性能长期发展的技术体系。我们把这样一种技术思想体系叫作‘AI-45°平衡律’。”