Qwen3-30B-A3B(MoE) 需要多少显存:哪些显卡能跑
31B 参数(MoE,显存按总参数算),最大上下文 40,960 token。 下表按 8192 上下文、单并发、20% 预留估算三档精度的显存需求,以及 12 张显卡各自需要几张。
三档精度的显存需求
| 精度 | 权重 | KV Cache(8192) | 含 20% 预留合计 | 最小够用的单卡 |
|---|---|---|---|---|
| FP16 / BF16 | 61.1 GB | 0.8 GB | 74.2 GB | A100 80GB(80 GB) |
| FP8 / INT8 | 30.5 GB | 0.8 GB | 37.6 GB | A100 40GB(40 GB) |
| INT4(4-bit 量化) | 15.3 GB | 0.8 GB | 19.3 GB | RTX 3090(24 GB) |
MoE:全部专家权重都要放进显存,显存按总参数量算,激活参数少只影响计算量
12 张显卡分别能不能跑
| 显卡 | 显存 | 结论 | INT4 需求 | 所需卡数 |
|---|---|---|---|---|
| RTX 3090 | 24 GB | 单卡可跑(需 INT4 量化) | 19.3 GB | 单卡 |
| RTX 4090 | 24 GB | 单卡可跑(需 INT4 量化) | 19.3 GB | 单卡 |
| RTX 5090 | 32 GB | 单卡可跑(需 INT4 量化) | 19.3 GB | 单卡 |
| RTX A6000 | 48 GB | 单卡可跑(需 INT4 量化) | 19.3 GB | 单卡 |
| L40S | 48 GB | 单卡可跑(需 INT4 量化) | 19.3 GB | 单卡 |
| A10 | 24 GB | 单卡可跑(需 INT4 量化) | 19.3 GB | 单卡 |
| L4 | 24 GB | 单卡可跑(需 INT4 量化) | 19.3 GB | 单卡 |
| T4 | 16 GB | 单卡放不下,INT4 需 2 张 | 19.3 GB | 2 张 |
| A100 40GB | 40 GB | 单卡可跑(需 INT4 量化) | 19.3 GB | 单卡 |
| A100 80GB | 80 GB | 单卡可跑(FP16) | 19.3 GB | 单卡 |
| H100 80GB | 80 GB | 单卡可跑(FP16) | 19.3 GB | 单卡 |
| H200 | 141 GB | 单卡可跑(FP16) | 19.3 GB | 单卡 |
点显卡名进入逐卡详情:三档精度的数字、该卡在售租用价、以及同卡还能跑哪些模型。
同族其它模型
- Qwen2.5-7B-Instruct7.6BINT4 需 5.1 GB
- Qwen2.5-14B-Instruct15BINT4 需 10.8 GB
- Qwen2.5-32B-Instruct33BINT4 需 22.2 GB
- Qwen2.5-72B-Instruct73BINT4 需 46.8 GB
- Qwen3-8B8.2BINT4 需 6.4 GB
- Qwen3-14B15BINT4 需 10.5 GB
- Qwen3-32B33BINT4 需 22.2 GB
常见问题
Qwen3-30B-A3B(MoE) 最低需要多少显存?
按 8192 上下文、单并发、20% 预留估算:FP16 需 74.2 GB,INT8 需 37.6 GB,INT4 需 19.3 GB。上下文越长,KV Cache 越大,需求还会上升。
Qwen3-30B-A3B(MoE) 单卡能跑吗?
INT4 量化下 RTX 3090(24 GB) 即可单卡运行;FP16 则至少需要 A100 80GB(80 GB)。多卡需要框架支持张量并行。
上下文从 8192 加到 32768,显存会多多少?
KV Cache 与上下文长度近似线性:8192 时占 0.8 GB,32768 时约为其 4 倍。权重部分不变。