苹果AI训练预算“每天数百万美元”，基础语言大模型团队由华人领导

作者：王眉

(资料图)

编辑：硬AI

近日苹果面临诸多不利，前有华为“突袭”提前开售Mate60 Pro，后有知名投资机构Needham Securities称苹果缺乏生成式AI和大型语言模型（LLM）方面的战略，在AI竞赛中已被亚马逊、谷歌和微软甩在身后。

不过，事实可能并非如此。

据媒体周三报道，苹果一直在增加AI部分的投入预算，训练费用达每天上百万美元。

虽然直到今年7月才有媒体爆料苹果已经建立了Ajax大语言模型开发框架，并在秘密开发自己的大型语言模型“Apple GPT”，但苹果关注到生成式AI远比外界想象的更早。

四年前，苹果的人工智能主管詹南德里亚（John Giannandrea）授权组建了一个团队来开发对话式人工智能（即大语言模型），展示了苹果对该领域的重视。

几位苹果员工表示，尽管詹南德里亚多次表达了对由AI语言模型驱动的聊天机器人潜在用途的怀疑，但苹果并不是完全没有为未来语言模型的爆发做好准备。

日砸百万豪赌2000亿参数Apple GPT 团队由华人领导

据悉，苹果的Foundational Models团队，即会话AI团队，目前的领导者为前谷歌工程师庞若鸣。资料显示，庞若鸣为上海交大本硕，且本硕仅用5年即毕业，于2021年加入苹果，此前在谷歌工作了15年。

团队现有16人，其中几位也是曾在谷歌工作多年的工程师。虽然团队规模小，但由于训练LLM对算力要求极高，该团队每天需要花费数百万美元训练LLM。

除此之外，据报道，至少还有两个苹果团队正在研究语言和图像模型。其中一个团队正在研究视觉智能，致力于开发能够生成“图像、视频或3D场景”的软件；另一个团队正在研究可以处理文本、图像和视频的多模态人工智能。

苹果计划将LLM集成在Siri语音助手当中，以此达到iPhone用户能够使用简单的语音命令来自动完成涉及多个步骤的任务。举个例子，该技术能够让用户告诉Siri助手，用他们最近拍摄的五张照片创建一个GIF动图，并将其发送给朋友。但目前，iPhone用户必须手动完成这个过程。

这与谷歌改进他们的语音助手类似。但苹果认为，其改进的Ajax GPT的语言模型比OpenAI的GPT 3.5更好，预计将于明年与新版iPhone操作系统一起发布。

一向封闭的苹果开展了一场开源运动

需要注意的是，开发LLM或许相对容易，但是将其纳入产品中更具挑战。与一些使用基于云方法的竞争对手不同，苹果更倾向于在设备上运行软件，以提高隐私保护和工作效率。然而，苹果的LLM（包括Ajax GPT）相当庞大，由于其体积和复杂性（超过2000亿个参数），很难安装到iPhone上。

缩小大模型的做法有先例，比如谷歌的PaLM2，它有各种尺寸，包括适合设备和独立使用的型号。

有分析称，虽然目前还不清楚苹果的计划，但出于隐私考虑，他们可能会选择较小的LLM。

这就要说到庞若鸣了。

据了解庞若鸣的人说，他在神经网络方面发表的研究成果获得了大批拥趸。神经网络是机器学习的一个子集，涉及训练软件识别数据中的模式和关系，类似于人类大脑的工作方式。庞若鸣某些比较著名的研究涉及神经网络如何与手机处理器协同工作，以及如何使用并行计算来训练神经网络。并行计算是将较大的问题分解成多个处理器可以同时计算的较小任务的过程。

庞若鸣对苹果的影响可以从AXLearn中看出，这是他的团队在过去1年中开发用于培训Ajax GPT的内部软件。AXLearn是一个机器学习框架，可以快速训练机器学习模型。AXLearn的部分构成基于庞若鸣的研究，并针对谷歌云张量处理单元(TPU) 进行了优化。

AXLearn是JAX的一个分支，JAX是谷歌研究人员开发的开源框架。如果将苹果的Ajax GPT比作一栋房子，那AXLearn就是蓝图，而JAX就是用来绘制蓝图的笔和纸。苹果用来训练大语言模型的数据目前尚未公开。

报道称，今年7月份，苹果Foundational Models团队悄悄地将AXLearn的代码上传到代码存储库GitHub，公众可以使用它来训练自己的大语言模型，而不必从头开始构建所有内容。苹果公开发布AXLearn代码的原因尚不清楚，但公司这样做通常是希望其他工程师能对模型进行改进。在詹南德里亚加入苹果之前，对于向来行事隐秘的苹果来说，开放可用于商业用途的源代码的决定显得不同寻常。

疯狂挖角谷歌和Meta

苹果还在积极从谷歌和Meta的AI团队中“挖人”。

据悉，自从AXLearn代码于7月上传到GitHub上以来，已有18人对其进行了改进，其中至少有12人在过去两年内加入了苹果的机器学习团队。这些人中，有7人曾在谷歌或Meta工作过。

华尔街见闻此前提及，目前“大模型的安卓”也不好过，Meta内部“算力宫斗”，一半Llama核心团队已离职。