DeepSeek-R1(671B,满血版) 需要多少显存:哪些显卡能跑
684B 参数(MoE,显存按总参数算),最大上下文 163,840 token。 下表按 8192 上下文、单并发、20% 预留估算三档精度的显存需求,以及 12 张显卡各自需要几张。
三档精度的显存需求
| 精度 | 权重 | KV Cache(8192) | 含 20% 预留合计 | 最小够用的单卡 |
|---|---|---|---|---|
| FP16 / BF16 | 1369.0 GB | 结构特殊,本站不估算 | 1642.8 GB | 单卡放不下 |
| FP8 / INT8 | 684.5 GB | 结构特殊,本站不估算 | 821.4 GB | 单卡放不下 |
| INT4(4-bit 量化) | 342.2 GB | 结构特殊,本站不估算 | 410.7 GB | 单卡放不下 |
官方权重为 FP8 存储,仓库权重文件合计约 688.6 GB;注意力为 MLA,KV Cache 不按标准公式估算
该模型的官方仓库是 FP8 / FP4 混合存储(文件合计 688.6 GB), 上表按「参数量 × 每参数字节数」换算到 FP16 / INT8 / INT4,两者不可直接对比: 直接用官方权重时显存占用接近 688.6 GB,用社区 4-bit 量化版时按 INT4 那一行估算。
12 张显卡分别能不能跑
| 显卡 | 显存 | 结论 | INT4 需求 | 所需卡数 |
|---|---|---|---|---|
| RTX 3090 | 24 GB | 不适合单机:INT4 也需 18 张卡 | 410.7 GB | 18 张 |
| RTX 4090 | 24 GB | 不适合单机:INT4 也需 18 张卡 | 410.7 GB | 18 张 |
| RTX 5090 | 32 GB | 不适合单机:INT4 也需 13 张卡 | 410.7 GB | 13 张 |
| RTX A6000 | 48 GB | 不适合单机:INT4 也需 9 张卡 | 410.7 GB | 9 张 |
| L40S | 48 GB | 不适合单机:INT4 也需 9 张卡 | 410.7 GB | 9 张 |
| A10 | 24 GB | 不适合单机:INT4 也需 18 张卡 | 410.7 GB | 18 张 |
| L4 | 24 GB | 不适合单机:INT4 也需 18 张卡 | 410.7 GB | 18 张 |
| T4 | 16 GB | 不适合单机:INT4 也需 26 张卡 | 410.7 GB | 26 张 |
| A100 40GB | 40 GB | 不适合单机:INT4 也需 11 张卡 | 410.7 GB | 11 张 |
| A100 80GB | 80 GB | 需要 6 张卡(建议 8 卡机) | 410.7 GB | 6 张 |
| H100 80GB | 80 GB | 需要 6 张卡(建议 8 卡机) | 410.7 GB | 6 张 |
| H200 | 141 GB | 单卡放不下,INT4 需 3 张 | 410.7 GB | 3 张 |
点显卡名进入逐卡详情:三档精度的数字、该卡在售租用价、以及同卡还能跑哪些模型。
同族其它模型
- DeepSeek-R1-Distill-Qwen-7B7.6BINT4 需 5.1 GB
- DeepSeek-R1-Distill-Qwen-14B15BINT4 需 10.8 GB
- DeepSeek-R1-Distill-Qwen-32B33BINT4 需 22.2 GB
- DeepSeek-R1-Distill-Llama-70B71BINT4 需 45.6 GB
- DeepSeek-V4-Flash284B(13B 激活)INT4 需 174.6 GB
- DeepSeek-V4-Pro1.6T(49B 激活)INT4 需 959.3 GB
常见问题
DeepSeek-R1(671B,满血版) 最低需要多少显存?
按 8192 上下文、单并发、20% 预留估算:FP16 需 1642.8 GB,INT8 需 821.4 GB,INT4 需 410.7 GB。上下文越长,KV Cache 越大,需求还会上升。
DeepSeek-R1(671B,满血版) 单卡能跑吗?
INT4 量化下 单卡放不下 即可单卡运行;FP16 则至少需要 单卡放不下。多卡需要框架支持张量并行。
上下文从 8192 加到 32768,显存会多多少?
该模型注意力结构特殊(MoE + 非标准注意力),本站不按标准公式估算 KV Cache,建议参考官方模型卡。