能跑什么模型：18 个开源模型的显存需求与 12 张显卡对照

Qwen

这一族里参数量最小到最大，点进去看它在 12 张显卡上的具体结论。

• Qwen2.5-7B-Instruct7.6B 参数INT4 需 5.1 GB · FP16 需 18.8 GB
• Qwen3-8B8.2B 参数INT4 需 6.4 GB · FP16 需 21.1 GB
• Qwen3-14B15B 参数INT4 需 10.5 GB · FP16 需 37.1 GB
• Qwen2.5-14B-Instruct15B 参数INT4 需 10.8 GB · FP16 需 37.4 GB
• Qwen3-30B-A3B（MoE）31B 参数INT4 需 19.3 GB · FP16 需 74.2 GB
• Qwen3-32B33B 参数INT4 需 22.2 GB · FP16 需 81.2 GB
• Qwen2.5-32B-Instruct33B 参数INT4 需 22.2 GB · FP16 需 81.2 GB
• Qwen2.5-72B-Instruct73B 参数INT4 需 46.8 GB · FP16 需 177.7 GB

DeepSeek

这一族里参数量最小到最大，点进去看它在 12 张显卡上的具体结论。

• DeepSeek-R1-Distill-Qwen-7B7.6B 参数INT4 需 5.1 GB · FP16 需 18.8 GB
• DeepSeek-R1-Distill-Qwen-14B15B 参数INT4 需 10.8 GB · FP16 需 37.4 GB
• DeepSeek-R1-Distill-Qwen-32B33B 参数INT4 需 22.2 GB · FP16 需 81.2 GB
• DeepSeek-R1-Distill-Llama-70B71B 参数INT4 需 45.6 GB · FP16 需 172.6 GB
• DeepSeek-V4-Flash284B（13B 激活） 参数INT4 需 174.6 GB · FP16 需 698.3 GB
• DeepSeek-R1（671B，满血版）684B 参数INT4 需 410.7 GB · FP16 需 1642.8 GB
• DeepSeek-V4-Pro1.6T（49B 激活） 参数INT4 需 959.3 GB · FP16 需 3837.2 GB

Llama

这一族里参数量最小到最大，点进去看它在 12 张显卡上的具体结论。

• Llama-3.1-8B-Instruct8.0B 参数INT4 需 6.1 GB · FP16 需 20.6 GB
• Llama-3.1-70B-Instruct71B 参数INT4 需 45.6 GB · FP16 需 172.6 GB

Mistral

这一族里参数量最小到最大，点进去看它在 12 张显卡上的具体结论。

• Mistral-7B-Instruct-v0.37.2B 参数INT4 需 5.6 GB · FP16 需 18.7 GB

怎么算的

推理显存 = 权重 + KV Cache + 运行时预留。权重 = 参数量 × 每参数字节数（FP16 为 2 字节、INT8 为 1 字节、INT4 为 0.5 字节）； KV Cache 按 2 × 层数 × KV 头数 × 头维度 × 上下文长度 × 每元素字节数估算； 运行时预留取 20%，是经验值而非官方数字，可在 显存计算器里调整。 MoE 模型（如 Qwen3-30B-A3B）按总参数量算，因为全部专家权重都要装进显存。

注意：多卡需要推理框架支持张量并行，通信开销未计入估算；上下文越长，KV Cache 占比越高。

3 个常被问到的问题