摘要：GRPO（Group Relative Policy Optimization）以组内相对奖励替代价值网络，是 DeepSeek-R1 等推理模型后训练的核心算法。本文解析其"生成-评分-更新"流水线的显存与吞吐特征，给出从 7B 级单机实验到 70B 级多卡训练的 UltraLAB 选型方案。
适用读者：大模型后训练工程师、推理模型研究团队、需要自建 RLHF/RLVR 流水线的科研机构。
一、资料背景与核心观点
- 资料名称：DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models，DeepSeek-AI，arXiv:2402.03300。
- 延伸阅读：DeepSeek-R1，arXiv:2501.12948。
- 原文链接：https://arxiv.org/abs/2402.03300、https://arxiv.org/abs/2501.12948。
核心观点：GRPO 放弃了 PPO 中与策略模型同量级的价值网络（critic），对每个问题采样一组 G 个回答（论文实验 G=64），用组内奖励的均值与标准差归一化得到优势估计，显著降低训练资源占用；KL 正则项从奖励中移出、以逐 token 估计进入损失。DeepSeek-R1 进一步验证了大规模 GRPO 可在可验证任务（数学、代码）上激发长链推理能力。
二、主要功能模块与核心算法
- Rollout 生成模块：用 vLLM/SGLang 等高吞吐推理引擎对同一 prompt 生成 G 条回答，是耗时大头。
- 奖励计算：规则奖励（答案匹配、格式检查）或奖励模型评分；可验证任务以规则奖励为主，CPU 即可承担。
- 策略更新：PPO 裁剪目标 + 组相对优势 + 逐 token KL 惩罚，反向传播更新策略模型。
- 参考模型管理：需同时驻留参考模型（冻结）用于 KL 计算；部分框架还驻留奖励模型。
- 统一范式：论文将 SFT、RFT、DPO、PPO、GRPO 统一为"逐 token 分数函数 × 方法特定系数"的梯度形式，便于在同一框架内切换算法。
三、计算特点与性能瓶颈
3.1 多阶段异构负载
RL 后训练是"推理密集型 + 训练密集型"交替的流水线：rollout 阶段要求 GPU 高推理吞吐与 KV Cache 容量；更新阶段要求训练显存（参数+梯度+优化器状态+激活）。同一批 GPU 常需在推理模式与训练模式间切换，或拆分为 rollout 组与训练组。
3.2 显存估算（以 BF16 为例）
- 7B 模型全量更新：参数 14 GB + 梯度 14 GB + AdamW 状态 56 GB，约 84 GB，加激活与参考模型，单卡放不下，需 ZeRO 分片或 2 卡以上。
- 13B—14B：建议 4 卡 ZeRO-3 或张量并行。
- 70B：8×80 GB 是工作站可行的下限，通常需要 CPU offload 或集群。
- GRPO 省去 critic 后，相对 PPO 可节约约一个"策略模型量级"的显存与算力，这是其主要硬件友好点。
3.3 采样放大效应
每步需生成 batch×G 条长回答（推理任务输出可达数千 token），rollout 时间与输出长度近似线性，长 CoT 使生成阶段成为端到端瓶颈；KV Cache 容量与带宽比纯算力更制约吞吐。
四、典型应用场景
- 数学/代码推理后训练：7B 级模型在 GSM8K/MATH 类数据上 GRPO，2—4 卡数日。
- 领域推理模型构建：法律、医疗、科研问答的可验证奖励 RL，13B—14B，4—8 卡。
- 算法研究：GRPO 变体（过程奖励、长度控制）消融实验，7B 级快速迭代。
- RLHF 偏好对齐：奖励模型参与时显存需求额外增加一个奖励模型的驻留。
五、UltraLAB 硬件配置建议
| 档位 | CPU 选型思路 | 内存 | GPU 与显存 | 系统盘/项目盘/数据盘 | 散热/电源/扩展 | 适用场景 |
|---|---|---|---|---|---|---|
| 入门级 | 16—24 核，保障奖励计算与数据预处理并发 | 128 GB | 2 卡，每卡 24—48 GB，ZeRO-2/3 | 1 TB NVMe + 2 TB NVMe + 数据盘 | 高规格风冷，1600 W | 7B 级 GRPO 实验、LoRA 版 RL |
| 主流级 | 32—64 核高核心数平台 | 256 GB | 4 卡，每卡 48—80 GB | 2 TB NVMe + 4 TB NVMe + 大容量数据盘 | 液冷优先，2000 W 以上 | 7B 全量 GRPO、13B—14B ZeRO-3 |
| 高性能级 | 双路或 64 核以上，高内存带宽 | 512 GB—1 TB（配合 offload） | 8 卡，每卡 80 GB，高速互联 | 2 TB NVMe + 8 TB NVMe RAID + 分层存储 | 整机液冷，冗余电源，8×PCIe 5.0 x16 | 14B—70B 级 RL 后训练、长 CoT rollout |
说明：GRPO 流水线对"推理/训练同卡复用"的软件栈（如 verl、TRL+ vLLM）有特定版本要求；多卡互联方式（NVLink 与否）对张量并行效率影响明显，采购前应向 UltraLAB 核实目标机型的 GPU 互联拓扑与框架兼容性，本文不提供固定型号与性能倍数承诺。
六、软件清单
| 类别 | 软件 | 必需性 |
|---|---|---|
| RL 训练框架 | verl（HybridFlow）、TRL、OpenRLHF | 必需（任选其一） |
| Rollout 推理引擎 | vLLM、SGLang | 必需 |
| 并行与显存优化 | DeepSpeed ZeRO、FSDP、Megatron-Core（大模型） | 必需 |
| 运行环境 | PyTorch、CUDA、NCCL、容器 | 必需 |
| 奖励与评测 | 规则校验脚本、数学评测集（GSM8K/MATH） | 必需 |
| 实验追踪 | W&B、TensorBoard | 可选 |
七、常见问题（FAQ）
Q1：GRPO 相比 PPO 在硬件上省了什么？
省去了与策略模型同量级的价值网络：少一份参数、梯度、优化器状态与一次额外前向反向，7B 级约省数十 GB 显存。代价是每 prompt 要采样 G 条回答，rollout 算力需求上升。
Q2：为什么 RL 训练的 GPU 利用率忽高忽低？
流水线在 rollout（推理）与 update（训练）间切换，两阶段并行特征不同；若未做重叠调度，总有一端闲置。选择支持 rollout/train 时间线重叠的框架、加大 rollout 并发可缓解。
Q3：单卡 48 GB 能跑 7B 的 GRPO 吗？
LoRA 化 + ZeRO/offload 可以勉强跑通，但吞吐低；2 卡 ZeRO-3 是更实用的起点。全量参数更新务必预留参考模型驻留显存。
Q4：长推理输出对硬件意味着什么？
输出 token 数直接放大 rollout 时间并推高 KV Cache 占用；应优先保证单卡显存容量与推理框架的 PagedAttention 类显存管理，而非单纯追求更高峰值算力。
八、总结与选型建议
GRPO 后训练的选型主线是"显存总量决定可训模型规模，推理吞吐决定迭代速度"。7B 级算法研究 2—4 卡即可起步；13B—14B 领域推理模型建议 4—8 卡大显存；70B 级需 8×80 GB 并配合 offload，超出此规模应转向集群。所有容量数字为 BF16+AdamW 的条件化估算，实际以所用框架（verl/OpenRLHF）的显存实测为准。
边界声明：论文实验规模（如 G=64、数据构成）为文献信息；不同框架实现对显存的优化差异很大，本文不构成具体训练时长承诺。
参考来源
- Shao Z, et al. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. arXiv:2402.03300. https://arxiv.org/abs/2402.03300
- Guo D, et al. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948. https://arxiv.org/abs/2501.12948
上述所有配置，代表最新硬件架构，同时保证是最完美，最快，如有不符，可直接退货
欲咨询机器处理速度如何、技术咨询、索取详细技术方案，提供远程测试，请联系
UltraLAB图形工作站供货商：
西安坤隆计算机科技有限公司
国内知名高端定制图形工作站厂家
业务电话：400-705-6800
咨询微信号：100369800
