本站记者李玉洋上海报道
在今年全球开发者大会(WWDC24)上,苹果公司给出了AI大模型时代的苹果答卷,击碎了“苹果落伍大模型”的言论。
这份答卷叫Apple Intelligence(苹果智能),苹果公司将其定位为个人智能系统,强大的跨应用操作能力是它的亮点之一。而苹果公司也官宣了与OpenAI的合作,通过调用ChatGPT-4o,语音助手Siri的能力得以增强。
《中国经营报》记者了解到,就当这场平淡的WWDC24推高苹果公司股票价格时,“Apple Intelligence是套壳GPT”的说法也出现了。之后,苹果官方网站低调发布了一篇大模型技术文档,公布了自研基础模型的信息,也是对疑问声的一种回应。
记者从这篇技术文档中了解到,由多个高能力的生成模型组成的Apple Intelligence中包含一个约30亿(3B)参数的端侧模型(Apple On-Device)和一个云端模型(Apple Server),其通过私有云并在Apple芯片服务器上运行,虽然该模型的具体参数没有公布,但性能达到了GPT-4 Turbo的级别。
“得益于苹果在产业里饰演的多重角色:芯片厂商、操作系统厂商、电脑和手机OEM厂商和开发者。”资深产业分析师黄烨锋表示,苹果公司可能是目前把AI PC、AI手机做到最好的厂商,前提是把他们所说的能完美落地。
另外,很多业内人士也对苹果做好端侧模型的落地表达了美好期许。“它是全行业第壹个真正把手机本地的API与端侧模型无缝衔接的,并且是全行业第壹个真正把用户个人数据拿给端侧模型进行fine-tuning的。别的端侧模型也想做这事,但他们拿不到这些数据的访问权限。苹果的端侧AI的核心技术能力一定会越来越强大。”怒喵科技开创人李楠如此表示。
尽管苹果公司一再强调对于客户数据的保护,但仍然没能消除外界对于隐私 数据安全 外泄的担忧。根据面壁智能首席研究员韩旭的说法,只要数据从苹果传给了第叁方,甭管是OpenAI的GPT还是Google的Gemini,苹果可能都将会失去对于 数据安全 的控制权。对于此种说法,苹果公司是咋看的?在处理用户数据、保护隐私方面,苹果公司有哪些做法可以对外具体阐述?记者联系采访苹果中国方面,截至发稿未获回复。
加快端侧AI应用变革
根据苹果官方公布的测评,它的3B参数端侧模型在总结、安全性、编码、数学推理、分类等测试方面基本处于第壹的位置,和主流几个7B级模型(谷歌Gemma-2B、Mistral-7B、Gemma-7B、微软Phi-3-mini)相比,苹果端侧模型基本都能胜出,而其云端模型性能则直接达到了GPT-4 Turbo级别。
说白了,苹果公司以上两个模型的性能相当能打,且原生嵌入原有的软硬件生态里。苹果公司可能是当前唯一把端侧模型和自家的芯片、操作系统等进行深入融合的电话厂商。
当然,苹果公司在模型研发方面也不是一挥而就的。记者了解到,今年以来,该公司在模型方面动作频繁。今年2月,苹果公司发布了一系列小型模型,其中包含可以读懂iPhone屏幕的多模态理解模型ReALM(Reference Resolution As Language Modelling)和Ferret-UI。4月,苹果又发布一系列名为OpenELM(开源高效语言模型)的语言模型,提供2.7亿、4.5亿、11亿和30亿等多个规格的参数量供选择。
需要谨防的是,端侧大模型的运行瓶颈主要有两个:一是算力,二是内存。苹果公司在前者自不必多说,每年新手机搭载的A系列处理器都是在当时性能排前列的。在苹果公司用iPhone演示Apple Intelligents跨App操作等强大功能时,有疑问声指出,8G内存能否承载3B参数模型的运行?
要知道,谷歌去年12月第壹次把1.8B的端侧模型Gemnini Nano部署到12G内存的Pixel 8 Pro手机上;到今年5月,谷歌才表示8G内存的Pixel 8和8a也能跑上这个模型。
那么,苹果公司是怎样做到的?根据该公司在去年12月发表的论文《LLM in a flash: Efficient Large Language Model Inference with Limited Memory》,苹果的思路是通过内存优化来处理小内存运营大模型的问题,其构建了一个以闪存为基础的推理成本模型,并使用窗口化(Windowing)和行列捆绑(Row-Column Bundling)两项关键技术,来最小化数据传输并最大化闪存吞吐量。
另外,苹果公司也在AI领域的不断投资和并购,多围绕端侧和多模态两个方面。有关信息显示,苹果公司2023年至少收购了32家AI创业公司,好比对加拿大 人工智能 草创公司DarwinAI的收购,DarwinAI的核心技术是能够让AI系统变得更小、更快,而半年前收购的Datakalab则优势在通过面部识别和视觉数据分析人类情绪。
在前文技术文档中,苹果公司还提到在模型框架中用上了分组注意力查询(grouped-query-attention)和LoRA适应器框架,一个能避免重复映射,一个可压缩推理过程,都能有效降低内存占用和推理成本。
另外,为了保证AI模型的运作不至于大幅影响手机功耗,苹果还配上了功耗分析工具 Talaria,及时优化功耗。在这篇技术文档里,苹果展示了如何保障小模型的交付能力:不全能,但对具体任务做了加强。好比,在基础模型上,苹果公司用了很多微调的适配器。
“苹果对AI的投入和规划符合预期,此时有一点额外的惊喜。符合预期是作为一家智能终端厂商,它对AI的应用和规划是匹配定位的,能够清晰地理解作为终端的优势在哪里,而不是盲目去跟随。”OPPO智能语音助手小布的业务责任人万玉龙在接受记者采访时表示,让人惊喜的部分,是苹果在找准定位的条件上,“把自己应用的产品性、产品策略和更广度的应用生态考虑得比较周全,它的APP intents API开发者生态很好”。
而华龙证券一份研报指出,苹果在无缝交互和无感交互方面处于领先地位,通过Apple Intelligence将AI功能融入用户的日常使用中,提供更便捷的交互体验,加快了端侧AI应用变革。
隐私安全的新挑战
然而,苹果公司也不得不指出苹果的AI功能只能适用在iPhone 15 Pro及以上机型,其它终端需要M1芯片以上的能力。
知名苹果分析师郭明錤认为,端侧大语言模型因为iPhone 16的8GB内存限制难超市场预期。他预测,2024年下半年iPhone 16出货量将低于2023年下半年的iPhone 15,短时间内可能不简单看到AI对苹果营业收入与利润有明显帮助。
作为个人智能系统,苹果公司还屡次强调Apple Intelligence对于客户隐私的保护,即便接入外部模型(好比ChatGPT-4o),也没人包含苹果公司自己能获得这些数据。好比Apple Intelligence采用私有 云计算 技术,实现芯片级别的数据保护,确保用户数据的安全和隐私。
其实,这其实不是新故事,此前行业内就有声音强调,端侧AI相比于云端AI更能有效保护隐私。
“苹果的端侧模型具有系统级别的权限和数据访问能力。假如你问苹果真的在AI能力上做到了啥?它是全行业第壹个真正把手机本地的API与端侧模型无缝衔接的,并且是全行业第壹个真正把用户个人数据拿给端侧模型进行fine-tuning的。”李楠如此表示。
而韩旭则认为,只要数据从苹果公司传给了第叁方,它可能都将会失去对于 数据安全 的控制权,这的确会对苹果的隐私安全提出新的挑战。
大模型公司是怎样保护用户隐私的?对此,民间互联网安全组织网络尖刀安全团队成员沦沦表示,当用户把一些敏感数据提交给GPT等模型时,其实前面会有一层关键词的过滤,“就是会有很大的一个敏感关键字池,好比账号密码、身份证、手机号等,通过匹配这些关键字,如果有这种关键词存在,就会进行自动脱敏。”他举例说,好比提交一个手机号,脱敏后这个号码中的某些数字就会用*号来遮掩。
沦沦表示,国内如今的大模型上线都会有敏感数据的一些限制,国内大模型公司要根据我国的 数据安全 保护法来保护用户隐私,对国家提到需要保护的数据字段进行限制。
对于苹果公司所说没人能获得用户数据的说法,沦沦表示:“因为没有做到公开制,把这种安全的脱敏机制都公开在互联网上,好比发布到github上,让所有开发者都看得到你是咋去做脱敏校验的,所以只能将信将疑。”
那么,国内大模型公司要做到哪些措施才算是做到用户数据脱敏、保护用户隐私?在沦沦看来,有以下几个要点需要关注:“一是数据脱敏,对敏感信息进行加密、匿名化或去标识化,以防止未经授权的访问或泄露。二是数据访问和权限控制,确保只有经过授权的人员可以访问用户数据,这可以通过实施严格的访问控制和权限管理来实现,包含身份验证、授权策略和访问审计。三是加密通信,确保在数据传输进程中使用安全的通信协议。四是数据存储安全,采取措施来保护存储用户数据的服务器和数据库,包含物理安全、访问控制和加密等。”
另外,他还提到企业要遵守适用的法律法规和隐私政策,包含数据保护法规(如GDPR)和行业标准;要提供安全培训,确保员工了解数据隐私和安全的重要性,并掌握最佳实践和安全操作指南;要建立安全审计和监控机制,跟踪和记录对用户数据的访问和操作。安全审计和监控和安全漏洞管理也是需要谨防的方面。
沦沦还特别提示,即便有各种保护机制,公司也不能百分百确保用户数据的安全,“一个是可能存在校验不全面,另外一个就是未知的安全漏洞风”。