跳到正文
原文
AIbase· AI Base·· 24 天前AI 评分58

OpenAI 推进下一代旗舰模型研发:采用循环 Transformer 技术,安全对齐拖慢发布节奏

OpenAI加紧研发下一代旗舰模型,循环推理与安全对齐成关键

AI 摘要

OpenAI 正加紧研发下一代旗舰模型,员工预计 2026 年底前发布一至两款新模型,但旗舰升级版是否在列尚不确定,发布时间受安全对齐与测试基础设施建设影响。新旗舰采用与 Astra 相同的循环 Transformer(循环深度)技术,让当前词元在生成下一个词元前多次通过相同 Transformer 层,可提升数学推理与编程能力,并让较小模型以更低成本获得更强性能。

正文 · 原文

OpenAI正加紧推进下一代旗舰模型研发,但受安全对齐和测试基础设施建设影响,发布时间仍存在不确定性。据《The Information》10月披露的消息,OpenAI员工预计公司将在2026年底前发布一至两款新模型,但尚不确定正在开发的旗舰升级模型是否会在其中。

openai

据悉,新旗舰模型采用与Astra相同的循环Transformer技术,即“循环深度”(Recurrent Depth)。该技术让模型在生成下一个词元前,多次将当前词元通过相同的Transformer层处理,可提升数学推理和编程能力,并使较小模型以更低成本实现更强性能。

不过,循环推理也将部分计算过程转移至难以被人工审查的内部数值表示,削弱了通过可读思维链监控模型行为的能力。据报道,OpenAI已限制Astra的循环次数,以维持推理过程的可读性,并将约10%的总计算能力转向算法对齐与安全研究,相关算力规模据称达到数百兆瓦。

微软此前发布的一篇GPT-6.1Sol技术文章意外披露了循环推理细节,随后删除相关内容。OpenAI还需完善安全测试,并按照相关安排,在模型交付外部合作伙伴前及正式公开发布前接受美国政府的安全评估。此次研发进展表明,推理性能提升与安全可监控性之间的平衡,正成为下一代大模型发布的重要挑战。

来源:AIbase · aibase.com

00