亚马逊发布TorchNeuron工具挑战Nvidia

周一，亚马逊网络服务发布了名为TorchNeuron的工具，让AI初创公司可以轻松将他们的AI应用迁移到亚马逊的AI芯片Trainium上。 通过这样做，亚马逊也在直接针对Nvidia在AI应用中成为默认硬件选择的软件优势，并推动其成为AI硬件首选供应商。 TorchNeuron与PyTorch配合使用，PyTorch是一个免费、开源的工具包，开发者用它来构建、训练和运行AI模型。 根据亚马逊的说法，只需更改一行配置，用PyTorch编写的AI应用就可以在Trainium上运行，无需重写代码。

亚马逊表示，大约85%的AI应用是用PyTorch编写的。 Facebook最初开发了它，但从2022年开始，它已成为Linux Foundation的一部分，该基金会维护开源项目。 Nvidia多年来一直确保其CUDA软件——允许应用在Nvidia GPU及其其他硬件上运行的软件基础设施——无缝支持用PyTorch编写的AI应用。 结果，Nvidia的硬件现在深深嵌入到该工具包中，实质上成为默认选项。 TorchNeuron是从PyTorch改编的，因此熟悉PyTorch的开发者已经知道如何使用它。

亚马逊不是第一个尝试轻松将他们的芯片带到平台的公司。 PyTorch用户也可以通过简单的配置更改将他们的应用移植到AMD GPU甚至苹果的芯片上。 然而，亚马逊认为，将应用移植到Trainium不仅容易，而且它还使AI初创公司能够访问亚马逊的整个云。 毫不奇怪，AWS声称，与许多与Nvidia及其硬件相关的neoclouds（如CoreWeave、Nebius和Firmus）相比，这是初创公司的更好选择。 “你正在构建AWS。

你并不是在押注单一用途的计算提供商，并且要围绕它组织所有其他事情，”AWS Annapurna Labs（制造亚马逊定制芯片的部门）的技术软件副总裁Colin Brace通过电子邮件告诉TechCrunch。 “在AWS上，”他继续说道，“从原型到生产的基础设施已经存在，允许创始人快速行动并在需要时扩展。

”AWS表示，由于同一芯片既处理训练（训练AI模型）又处理推理（将完成的模型投入使用，例如当它回答用户的问题），并且与初创公司需要的云基础设施紧密集成，因此其云将节省他们的钱，即使AWS不提供最便宜的每token价格。 “Trainium的价值是性价比加上它是一个既用于训练又用于推理的平台，这提高了整个工作负载的经济性，”Brace说。 “看看Deepgram——他们使用原生的PyTorch支持迁移到Trainium，并且在生产级精度下，他们每美元处理的音频量增加了70%。

”Deepgram是一个AI语音应用提供商，是ElevenLabs的竞争对手。 但亚马逊并不满足于仅仅为PyTorch应用开发者提供一个轻松迁移到其云的选项。 亚马逊还表示，它正在推动PyTorch不要自动以Nvidia为中心，并且它将贡献用于实现这一目标的代码到主要的PyTorch项目。 在宣布新工具的博客文章中，该公司写道：亚马逊的方法超出了它自己的硬件。 该公司正在向PyTorch本身贡献上游更改，与PyTorch社区合作，删除将框架与特定芯片绑定的代码。

目标是使PyTorch对整个开发者社区更加硬件无关，而不仅仅是Trainium用户。 虽然这种策略无疑对那些销售与Nvidia竞争的硬件和云服务的公司有利，但PyTorch的一个要点是隐藏所有让AI代码在硬件上运行的麻烦。 我们将不得不等待看看，推动Nvidia走得更远是否会像亚马逊承诺的那样给开发者提供更多选择和更实惠的选项，还是会带来更多配置问题。 无论如何，如果亚马逊成功地将PyTorch与Nvidia深深分离，这可能会对GP产生更大的影响。