大模型向下扎根深入行业，务必破解高质量数据供给的挑战。7月5日，2024年世界 人工智能 大会（2024WAIC）进入第贰天，作为 数据要素 领域的主要技术服务商，蚂蚁集团发布“隐语Cloud”大模型密算平台，通过软硬件结合的可信隐私计算技术，在大模型托管和大模型推理等环节实现数据密态流转，保护模型资产、 数据安全 和用户隐私。

　　当下，高质量数据供给和安全流通，成为大模型进入垂直产业应用的首要挑战。其一，行业大模型要获得解决专业问题的能力，第壹要经过数量充分、质量高的专业数据训练。然而，专业数据往往分散在不一样的机构、企业中，并且由于价值大、保密要求高，难以流动。另外，在企业、大模型厂商和用户之间存在信任壁垒，企业担忧数据对外泄露，大模型厂商担忧模型资产安全，用户担忧个人数据和隐私风险。  

　　在发布会现场，蚂蚁密算总裁王磊介绍，“隐语Cloud”大模型密算平台首批推出两大服务，分别为大模型密态托管和大模型密态推理。大模型密态托管，指模型提供方可以将模型加密后托管在平台上，一键完成云上密态部署，保护模型资产不被泄漏和盗用；大模型密态推理，是指数据以密态形式完成推理，保护用户交互时的 数据安全 、商业机密等。

　　另外，该平台支持GPU（图形处理器）在可信执行环境下进行计算，使得大模型推理在密态形式下的响应时间和使用效率与明文大模型接近，实现大规模商业可用。

　　在安全保证上，该产品利用内存、磁盘加密等方法，实现用户访问的端到端加密和托管模型的跨域访问控制。在易用性上，产品支持轻量化远程认证，用户在网页访问时就可以完成远程认证，不用额外的操作步骤。

　　当下，大模型在垂直行业应用时，许多企业通过私有化部署来应对 数据安全 挑战，这不仅增加企业的运营维护和服务成本，也影响对外服务的效率和质量。对行业的发展而言，私有化方案无益于多方数据跨领域、跨行业高效融合，无法进一步激发大模型的能力。

　　据介绍，“隐语Cloud”大模型密算平台提供公有云和专有云交付方案，支持市场上流行的通用大模型。以公有云为例，不管用户重新构建新的垂直大模型，或将已经有的大模型重新部署在该平台，只需一键部署和接入，好比10分钟即可完成高可用推理服务的发布。在使用进程中，用户按需获取密态算力，即开即得。

　　王磊透露，“隐语Cloud”大模型密算平台的服务，将逐步覆盖到垂直大模型从构建到对外服务的全链路 数据安全 。“接着，我们将为垂直大模型从预训练、微调、评测、推理到用户交互的全程提供密态计算服务，在大模型提供方、数据提供方、大模型使用方等之间实现数据可信安全流转。平台还将提供密态大模型开发所需的全链路工具，提供的服务包含密态检索增强生成、密态提示词、Agent流程编排等。”王磊表示。

　　蚂蚁集团副总裁兼首席技术安全官、蚂蚁密算老总韦韬认为，数据供给决定了大模型应用能力的上限，而隐私计算技术决定了数据跨域供给的上限。当大模型从通用走向专业应用，从技术想象力走向产业的生产力，务必解决高质量数据集稀缺与专业数据阻滞的挑战，不然大模型作为“智力引擎”，只会陷入空转。今后，高价值数据要深度融合，一定需要以密态方式进行安全流转。

　　韦韬表示，蚂蚁集团从2016年开始探索隐私计算技术，能力涵盖了全栈可信技术、多方安全计算、联邦学习、同态加密、差分隐私、机密计算等隐私计算全谱技术域。“我们希望联合产业合作伙伴，把蚂蚁集团长时间以来在密态计算技术上的探索和创新，以开源和产品化的形式对外开放，助力推动产业向前发展，为实体经济和中小微企业创造新的价值，让数据价值的流动像自来水一样即开即用。”

　　目前，蚂蚁可信隐私计算的核心技术已全部开源，包含“隐语”可信隐私计算框架、“星绽”可信执行环境操作系统Occlum等。另外，参与制定了60多项国内外隐私计算技术标准，其中主导了9项国际标准。蚂蚁还与超过50所国内外高校紧密合作，并且与中国计算机学会联合建立了“隐私计算专项科研基金”。