跳到正文
原文
cnBeta· ugmbbc·· 23 天前精选AI 评分68

Meta 与苹果合作将 8160 亿参数开放权重模型 Muse Spark Open 引入 Mac Studio

Meta携手苹果将8160亿参数AI模型引入Mac Studio

AI 摘要

Meta 与苹果合作,让 8160 亿参数的开放权重模型 Muse Spark Open 可在 Mac Studio 上本地运行。

正文 · 中文整理稿

此次合作颇为引人注目。苹果与Meta过去在隐私政策、平台规则和应用生态等方面存在明显分歧,双方此次却共同推动开放权重模型在苹果硬件上的运行。Meta首席执行官马克·扎克伯格感谢苹果首席执行官约翰·特努斯参与合作,特努斯也公开表示,Muse Spark Open能够在桌面设备上高效运行,展示了Mac Studio在本地AI计算方面的潜力。

Muse Spark Open是Meta Muse模型系列中的开放权重版本。与只能通过远程服务访问的封闭模型不同,开放权重模型允许用户获取模型权重,并在符合许可条件的前提下自行部署。这为开发者、研究人员和企业提供了更大的运行环境控制权,也使他们能够根据自身需求调整推理流程。

该模型拥有8160亿个总参数,但采用了稀疏激活设计,每次推理只激活约420亿个参数。换句话说,模型并不需要在处理每个Token时都让全部参数参与计算,而是根据任务和输入内容调用相应部分。这种设计有助于降低推理计算量,但并不意味着模型可以只使用420亿参数所需的内存运行,因为完整模型的权重仍然需要存储或以其他方式进行管理。

上下文窗口是Muse Spark Open的另一项重要指标。该模型支持100万Token上下文,理论上可以在一次任务中处理非常长的文本、代码库或多份文档。对于软件工程任务而言,这意味着模型有机会同时参考大量源代码和相关资料,减少因上下文不足而遗漏关键信息的情况。不过,实际可用的上下文长度、处理速度和内存占用,仍然取决于具体运行配置与推理框架。

Meta表示,Muse Spark Open经过针对Mac Studio的优化,可以利用苹果芯片的统一内存架构运行。传统独立显卡系统通常需要将模型权重放入显存,而苹果的统一内存架构允许CPU与GPU共享同一内存池。在支持大容量统一内存的Mac Studio上,GPU可以访问最高512GB的统一内存,从而为运行大型开放权重模型提供硬件基础。

根据Meta的介绍,两台Mac Studio可以通过相应的软件框架协同运行模型,使系统拥有约1TB的统一内存。每台设备搭载的M5 Ultra芯片具有最高1.2TB/s的内存带宽。Meta认为,这种配置能够在本地运行Muse Spark Open,同时利用稀疏激活机制,只读取每个Token推理所需的部分参数。

这一方案的关键并不只是简单地将两台电脑连接起来,而是通过统一内存架构、模型分片和推理框架协同工作,使原本需要更大规模计算基础设施才能容纳的模型,能够在桌面设备上运行。苹果的MLX机器学习框架为Apple Silicon上的模型执行提供了支持,而Meta则针对Muse Spark Open进行了相应调整。

不过,必须区分模型能够加载运行与模型能够高速运行这两个概念。拥有足够内存,只能解决超大模型部署中的一个主要障碍。模型分片、跨设备通信、内存带宽、计算单元利用率和上下文长度,都会影响最终的推理速度。Meta此次公布的信息强调了模型的可运行性和硬件配置,但没有给出足以全面判断实际性能的完整基准测试数据。

价格同样是这套方案的重要限制。苹果目前尚未正式推出配备512GB统一内存的Mac Studio,预计将在10月底上市。现有配备256GB统一内存的高端Mac Studio价格已经超过1万美元,因此,两台512GB版本组成的系统预计将是一项昂贵的投入。对于普通个人用户而言,这显然不是低成本的本地AI方案,但对于需要运行大型模型、重视数据控制权的开发团队和研究机构,它提供了不同于传统服务器的选择。

Meta表示,Muse Spark Open不仅可以在Mac Studio上运行,也能够通过多个云端AI平台调用,包括Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter和Together AI。对于希望自行下载模型权重的用户,相关文件则可以通过Amazon SageMaker AI、Google Cloud Model Garden、Hugging Face和Microsoft Foundry Models等渠道获取。

该模型采用允许有限商业使用的许可,而不是毫无限制的通用开源许可。因此,开发者和企业在将其用于商业产品之前,仍需要仔细阅读具体许可条款,确认自己的部署方式、用户规模和应用场景是否符合要求。

此次合作也反映出本地AI计算正在出现新的发展方向。过去,运行数千亿参数的大模型通常意味着需要多张专业GPU、大容量显存以及复杂的服务器集群。苹果则试图利用统一内存架构和高带宽芯片,让高端桌面电脑也能承载更大规模的模型。虽然这种方案在成本和推理性能方面仍有局限,但它为不希望将所有数据发送到云端的用户提供了新的可能性。

对苹果而言,Muse Spark Open也有助于展示Mac Studio在AI开发领域的定位。随着越来越多开发者尝试本地运行模型,统一内存容量和带宽逐渐成为衡量高端电脑AI能力的重要指标。苹果希望通过M5 Ultra和MLX生态系统,让Mac不仅适用于视频剪辑、三维设计和音乐制作,也能够成为本地AI开发与推理平台。

对于Meta而言,发布开放权重模型并支持在苹果硬件上运行,则有助于扩大Muse系列的开发者覆盖范围。用户可以根据需求选择云端API或本地部署,而Meta也能够借此吸引更多开发者围绕模型构建应用和工具。

总体来看,Muse Spark Open的意义不仅在于8160亿参数这一数字,更在于它展示了大型开放权重模型与高端桌面硬件结合的可能性。两台配备512GB统一内存的Mac Studio能够为模型提供约1TB的内存空间,使其具备本地运行的条件,但实际体验仍取决于推理速度、硬件成本和软件优化程度。

这项合作尚不足以证明普通个人电脑已经能够轻松运行超大规模模型,却说明本地AI硬件正在向更高内存容量和更强协同计算能力发展。随着模型架构与推理软件不断优化,过去只能在大型数据中心部署的部分AI模型,未来可能逐步进入工作室、实验室和开发者的桌面环境。

来源:cnBeta · cnbeta.com.tw

00