Nous Research 微调 Qwen3.8-27B

Nous Research 通过对阿里巴巴的 Qwen3.8-27B 进行微调，移除了 5300 万个 token 中的中国官方宣传内容，生成了 Arete-27B 模型。 该模型将宣传率从 22% 降低到不到 1%，同时保持了其一般能力。 Arete-27B 是 Nous Research 的新开源权重模型，承诺提供“西方价值观”，而不是北京的政治路线。 美国初创公司 Nous Research 以其开源代理 Hermes 最为人所知，通过微调阿里巴巴的 Qwen3.8-27B 实现了这一目标。

根据 Nous 的说法，中国的开源权重模型虽然排名靠前，但其中嵌入了国家强制的行为规范。 团队观察到，Qwen3.8-27B 出现拒绝、回避回答以及与中国共产党一致的回应。 团队构建了包含 803 个提示的测试，涵盖言论自由、国家意识形态、教育、隐私和监控、民主和环境等七个类别。 每个提示都定义了两个到四个来自过时来源文章的事实：法律、新闻报道或研究论文。 讽刺的是，来自马斯克 xAI 的政治倾向右倾的 Grok 4.7 被用作裁判模型，检查回答是否提及、遗漏或与这些事实相矛盾。

当回答复述北京的官方叙事而不是事实、支持它或将其呈现为同样有效的观点时，即被视为宣传。 裁判必须引用具体措辞，并且不知道哪个模型写出了答案。 未修改的 Qwen3.8-27B 在事实准确性上得分为 2.32，其中 22% 的回答包含宣传。 西方模型如 Mistral Large 4 或 Gemma 4 31B 的宣传率低于 1%，而 GLM-5.3 和 DeepSeek V4.1 Flash 分别为 15% 和 16%。 甚至英伟达的 Nemotron 也显示出中国偏见。

Nous Research 选择了 Thinking Machines Lab 的 Inkling 作为教师模型，因为开源模型不会违反禁止蒸馏的服务条款。 英伟达的 Nemotron 3 Ultra 也曾是候选，但 Nous 表示其在中国相关主题上存在异常。 团队怀疑这种偏见是从训练中国开源权重模型时转移过来的，并在自己的项目中报告了类似的污染。 Thinking Machines 自己也使用了包括中国 Kimi K2.5 在内的模型来生成 Inkling 的合成训练数据。

Nous Research 使用约 5300 万个 token 在两个 epoch 内对 Qwen3.8-27B 进行了监督微调，没有使用强化学习或偏好优化。 团队表示，他们在训练和测试提示之间预先去除了重叠。 训练数据在七个价值观类别中分布几乎均匀，大多数示例运行在 1000 个 token 以下。 Arete-27B 在事实准确性上得分为 2.98，宣传性回答的比例降至 0.9%。 最大的变化出现在言论自由类别中，事实得分从 0.89 上升到 2.44，宣传率从 60% 降至 1%。

开启推理模式后，Arete 得分为 3.07，但该数字基于迄今为止仅五分之二次的运行。 Arete-27B 的宣传率与西方模型相当，而 GLM 5.3、DeepSeek V4.1 Flash 和基础模型 Qwen3.8-27B 的得分则更高。 Nous Research 认为，中国对齐模型中的偏见层很浅。 它应用得晚，应用得薄，并且 5000 万个精心选择的监督 token 可以将其移除，而不会破坏底层内容。 Nous Research 正从中立模型转向西方价值观。