OpenAI最新模型Astra用上字节架构:Transformer同一层反复算

OpenAI最新模型Astra用上字节架构:Transformer同一层反复算

2026-09-02 12:51

据媒体报道,OpenAI 即将发布的 Astra 模型采用了循环推理架构 recurrent depth(也称 looped transformer)。

与普通 Transformer 每生成一个 Token 固定穿过各层网络不同,Astra 允许同一段信息反复经过同一组层,多轮计算后再输出。字节跳动去年已公开类似路线。

其 Seed 团队发布的 Ouro 是一种 Looped Language Model,同样让一组 Transformer 层循环运行,将更多计算内置于模型内部,使较小模型通过增加推理计算量接近更大模型的效果。

该架构带来安全隐忧:部分推理发生在内部隐藏状态,人类无法看到完整文字记录,更难通过思维链检查模型是否违规。

OpenAI 因此限制了 Astra 对 recurrent depth 的使用程度,保留可读的思维链,并计划加入额外的 CoT 监控。

#AI巨头动态

免责声明:含第三方意见,不构成财务建议

推荐阅读

网信办:豆包、元宝、千问、文心一言等严格限制违规内容生成

6 分钟前
网信办:豆包、元宝、千问、文心一言等严格限制违规内容生成

Anthropic给Claude思考链上锁:改一句上下文就作废,专堵模型蒸馏

3 小时前
Anthropic给Claude思考链上锁:改一句上下文就作废,专堵模型蒸馏

马斯克发布多个重磅预测:明年底AI将完成所有数字领域工作,十年内人形机器人生产力超越全人类

4 小时前
马斯克发布多个重磅预测:明年底AI将完成所有数字领域工作,十年内人形机器人生产力超越全人类

谷歌最快将于周三发布Gemini 3.8 Flash

5 小时前
谷歌最快将于周三发布Gemini 3.8 Flash

Anthropic发布Fable 5.1,称编程能力提升、成本降低

11 小时前
Anthropic发布Fable 5.1,称编程能力提升、成本降低

SB Energy提交IPO申请,高度依赖OpenAI,预计募资50亿至70亿美元

14 小时前
SB Energy提交IPO申请,高度依赖OpenAI,预计募资50亿至70亿美元

假Claude桌面应用传播恶意软件,RevStealer瞄准超50种加密钱包

15 小时前
假Claude桌面应用传播恶意软件,RevStealer瞄准超50种加密钱包