阿里云轻量 2核2G 38元/年起 · 新客秒杀限量 去看看

能跑什么模型/DeepSeek-V4-Flash

RTX 5090 32GB 能跑 DeepSeek-V4-Flash 吗

DeepSeek-V4-Flash 是 284B(13B 激活) 参数 MoE模型,最大上下文 1,048,576 token。 按 8192 上下文、单并发、20% 运行时预留估算。

结论

RTX 5090(32GB)跑 DeepSeek-V4-Flash 要 6 张卡,实际只在 8 卡机上划算。

  • FP16 / BF16:需 698.3 GB,32 GB 单卡需要 22 张
  • FP8 / INT8:需 349.1 GB,单卡需要 11 张
  • INT4 量化:需 174.6 GB,单卡需要 6 张

三档精度的账

精度权重KV Cache20% 预留合计32 GB 需要
FP16 / BF16581.9 GB0.0 GB116.4 GB698.3 GB22 张
FP8 / INT8290.9 GB0.0 GB58.2 GB349.1 GB11 张
INT4(4-bit 量化)145.5 GB0.0 GB29.1 GB174.6 GB6 张

多卡估算只做除法,忽略张量并行的通信开销;实际可用性取决于推理框架(vLLM / SGLang 等)对多卡的支持。

这张卡的现价

平台报价单位采集时间说明来源
Vast.ai$0.468每 GPU 小时2026-11-04市场撮合价(Vast.ai 型号 RTX 5090),取符合条件的最低报价,来自个别主机,稳定性不保证;共 32 条符合条件的在租报价来源
RunPod$0.69每 GPU 小时2026-11-04官网定价页 RTX 5090 Community Cloud 按需价,实际库存与附加费以官网为准来源
RunPod$1.19每 GPU 小时2026-11-04官网定价页 RTX 5090 Secure Cloud 按需价,实际库存与附加费以官网为准来源
优云智算¥3.32每 GPU 小时2026-11-04官网首页「仅需」起价,不同地域/配置可能不同,以官网为准来源

同一个模型,换别的卡

显卡显存FP16INT4结论
RTX 309024 GB8 张174.6 GB需要 8 张卡(建议 8 卡机)
RTX 409024 GB8 张174.6 GB需要 8 张卡(建议 8 卡机)
RTX 5090(当前)32 GB6 张174.6 GB需要 6 张卡(建议 8 卡机)
RTX A600048 GB4 张174.6 GB单卡放不下,INT4 需 4 张
L40S48 GB4 张174.6 GB单卡放不下,INT4 需 4 张
A1024 GB8 张174.6 GB需要 8 张卡(建议 8 卡机)
L424 GB8 张174.6 GB需要 8 张卡(建议 8 卡机)
T416 GB11 张174.6 GB不适合单机:INT4 也需 11 张卡
A100 40GB40 GB5 张174.6 GB需要 5 张卡(建议 8 卡机)
A100 80GB80 GB3 张174.6 GB单卡放不下,INT4 需 3 张
H100 80GB80 GB3 张174.6 GB单卡放不下,INT4 需 3 张
H200141 GB2 张174.6 GB单卡放不下,INT4 需 2 张

RTX 5090 单卡还能跑哪些模型

这张卡能单卡跑(含 INT4 量化)的最大参数模型是 Qwen2.5-32B-Instruct,共 33B 参数。

常见问题

RTX 5090 32GB 跑 DeepSeek-V4-Flash 需要几张卡?

FP16 需 698.3 GB,32 GB 单卡需要 22 张;INT4 量化后需 174.6 GB,需要 6 张。

量化到 INT4 会不会明显掉效果?

取决于模型与任务:INT8(FP8)通常损失很小;4-bit 量化在通用问答上可用,但长链推理、代码生成这类任务更容易退化。生产环境建议先拿业务样本做对比评测再决定。

估算里有没有算推理框架的额外开销?

用一个 20% 的固定预留近似,覆盖激活、临时缓冲与框架自身占用。不同框架差异很大,长上下文与高并发时实际占用通常高于估算值。