DeepX流片第二代AI芯片，性能提升6.7倍

韩国边缘AI芯片初创公司DeepX完成了其第二代AI加速器的流片，该芯片采用了三星的定制处理器内存（PIM）技术。 DX-M2旨在将生成式AI应用于机器人、无人机和其他边缘设备，能够在不到5W的功耗下推理高达1000亿参数的模型。 DeepX的第一代芯片DX-M1目前正进行大规模生产，目标应用于视觉应用。 新流片出的DX-M2旨在使本地AI成为功耗和热预算紧张的设备的实用选择。

该芯片设计用于在5W的相同功耗预算内运行具有200亿至1000亿参数（大约30亿至200亿个活跃参数）的模型，具体取决于模型，速度为每秒10至30个令牌。 DeepX创始人兼CEO Lokwon Kim告诉EE Times，M1和M2之间最重要的变化是内存带宽。 内存带宽从50GB/s增加到150GB/s，但还有其他几个效率提升。 DeepX表示，其NPU得益于设计改进，功率效率翻了一番，而转向2纳米工艺节点再次翻了一番，现在可以达到80TOPS。

“这很重要，因为5W的功耗使我们可以在任何地方使用，无人机或任何其他电池供电的设备，”Kim说。 “我们的目标是在所有设备中部署复杂的AI。 ”M2可以处理大型混合专家LLM，并支持新技术，包括推测解码和TurboQuant。 DeepX的Tim Park（左）和Lokwon Kim（来源：DeepX）处理器内存大多数类型的AI推理操作都受到在内存和计算之间移动权重所限制，尤其是在GEMV（通用矩阵向量乘法）期间，需要随机内存访问，这会减慢计算速度。

内存制造商已经提出了PIM方案，其中内存绑定操作（如GEMV）可以在内存芯片内部计算。 在内存内执行操作会增加有效内存带宽，并减少耗时的内存访问时间。 PIM预计将成为JEDEC LPDDR6的标准。 然而，DeepX一直在与三星合作，将DX-M2与三星的LPDDR5x-PIM集成。 “我们在这个技术上花费了一年半的时间，与三星内存合作，因为他们已经有了他们自己的定制LPDDR5x PIM，”Kim说。 “我们已经收到了LPDDR5x PIM样品，并在内部测试操作和性能。

”DeepX的模拟显示，将GEMV操作从DX-M2卸载到LPDDR5x-PIM将使Llama3.1-8B的令牌每秒速度提高6.7倍，而DX-M2单独运行。 “DX-M2与LPDDR5x-PIM接近最优，”Kim说。 “但我们的下一代，DX-M3，将支持官方LPDDR6 PIM技术； 然后我们可以获得完整的理论性能提升，即性能提高5倍至8倍。 ”Kim解释的唯一缺点是，额外的计算不是免费的——6.7倍的性能提升需要2.7倍的总体功耗。 但DeepX认为，它可以在相同的功耗范围内获得2倍的性能提升。

“在编译器中支持这种操作模式需要“大量的人工工作”，Kim说，他指出DeepX目前有一个基于PIM支持LPDDR5x模拟的原型编译器在运行。 “我们现在正在制作硬件模块，以便我们可以在物理环境中测试它，所以我们还没有完成编译器，但我们正在积极工作。 ”DeepX表示，将GEMV操作卸载到内存将使令牌每秒速度提高6.7倍（基于Llama3.1-8B），但代价是功耗。 （来源：DeepX）关键市场DX-M2将瞄准几个关键行业。 DeepX正在与台湾OEM合作，寻找AI PC的正确甜点，包括笔记本电脑和工作站。

机器人公司目前正在使用Nvidia Thor等GPU进行原型设计，希望设备上具有更低的功耗和更多的计算能力，汽车公司