百度发布280亿参数ERNIE 5.5 Flash

Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation model

AI 摘要

百度发布了ERNIE-5.5-Flash-Base，一个开放的基础模型，故意不包含微调或后训练，采用混合专家架构，拥有2800亿参数，每个输入中140亿参数是活跃的

正文 · 清洗整理版

百度发布了ERNIE-5.5-Flash-Base，一个开放的基础模型，该模型故意不包含微调或后训练。开发者需要自行决定如何使用该模型。ERNIE 5.5采用混合专家架构，拥有2800亿参数，每个输入中140亿参数是活跃的。该模型在33.5万亿个token上进行预训练，训练上下文长达128,000个token，但设计用于在微调和推理过程中支持高达一百万个token的上下文。在推理、代码和长上下文任务的基准测试中，该模型与DeepSeek V4 Flash或MiMo V2.5等类似规模的开放基础模型竞争。权重可在Hugging Face上以FP8和BF16格式获取。

来源：The Decoder · the-decoder.com