ChainThink 消息，4月24日，据官方相关信息，DeepSeek 开源 V4 系列预览版，采用 MIT 许可，模型权重已上线 Hugging Face 和 ModelScope。

该系列包含两款 MoE 模型，其中 V4-Pro 总参数达1.6万亿，每token激活490亿参数；

V4-Flash 总参数2840亿，每token激活130亿参数，两款均支持1M token上下文。

该系列架构有三项升级：混合注意力机制（压缩稀疏注意力CSA+重度压缩注意力HCA）可大幅降低长上下文开销，在1M上下文场景下，V4-Pro单token推理FLOPs仅为V3.2的27%，KV缓存显存占用仅为V3.2的10%；

流形约束超连接mHC替代传统残差连接，增强跨层信号传播稳定性；训练改用Muon优化器加速收敛。该模型预训练数据超32T token。

后训练分为两阶段，先通过SFT和GRPO强化学习分别训练各领域专家模型，再通过在线蒸馏统一合并为最终模型。

其中V4-Pro-Max自称当前最强开源模型，编码基准达顶级水平，推理和agent任务与闭源前沿模型差距显著缩小；

V4-Flash-Max在获得足够思考预算后推理表现接近Pro，但在纯知识和复杂agent任务上受限于参数规模。模型权重以FP4+FP8混合精度存储。