苹果与NVIDIA联手提升AI模型生产效率，速度提升近三倍

品玩12月20日讯，据苹果官网消息，苹果近日发布论文退出一种新技术，在使用 NVIDIA GPU 时，可以让大语言模型的速度提升近3倍。

据悉，2024 年早些时候，苹果公司发布并开源了 Recurrent Drafter，即 ReDrafter，这是一种在训练中提高性能的推测解码方法。 它使用 RNN（递归神经网络）草稿模型，将波束搜索与动态树关注相结合，用于预测和验证来自多条路径的草稿标记。与典型的自动回归标记生成技术相比，这将 LLM 标记生成速度提高了 3.5 倍。

苹果公司解释说，除了使用Apple Silicon的现有工作外，该团队并未止步于此。 本周三发布的新报告详细介绍了该团队如何将研究成果应用于 ReDrafter 的创建，使其能够与 NVIDIA GPU 配合使用。

用于生成 LLM 的服务器通常采用 NVIDIA GPU，但高性能硬件往往需要高昂的成本。 仅硬件一项，多 GPU 服务器的成本就超过 250000 美元，更不用说所需的基础设施或其他相关成本了。