70B 模型一个月多少 GPU 钱:45.6GB 门槛与 $180–$2585 的账单
快速结论
- 70B 级模型的三档显存门槛分别为 172.6GB、87.9GB、45.6GB(DeepSeek-R1-Distill-Llama-70B,71B 参数,8192 上下文,单并发,KV Cache 按 FP16,运行时预留 20%,2026-11 按公式核算)。
- INT4 是 24GB 卡进入 70B 的唯一通道,且必须两张。 45.6 ÷ 24 = 1.9,向上取整为 2 张;单卡无法容纳。
- 能单卡跑 INT4 70B 的最低容量是 48GB。 RTX A6000 与 L40S 均为 48GB,单卡即可容纳 45.6GB 需求。
- 月账单按 720 小时折算,从 $180 到 $2585。 最便宜的组合是两张 RTX 3090($0.125 × 2 × 720 = $180);H200 单卡跑 INT8 为 $3.59 × 720 = $2584.8,相差 14.4 倍。
- 等待降价不是可控策略。 本站两次有效采集之间(2026-10-23 与 2026-11-05),8 个型号里只有 RTX 5090 的最低价变动($0.69 → $0.497),其余 7 个型号未变。按需价不随等待时间单调下降。
- 价格取自本站 2026-11-05 09:30 的采集结果(RunPod 官网定价页、Vast.ai 公开搜索接口、优云智算官网,2026-11 核对),显存按
src/data/gpu-models.js的公式计算,与 /can-run 页面族同源。
判断顺序:先算显存,再挑卡型,最后乘小时数
成本失控通常发生在第二步:先看单价挑卡,再发现显存不够,于是加卡,账单翻倍。应按下述顺序确定。
- 先算显存门槛。 判据是 参数量 × 精度字节数 × 1.2 再加 KV Cache。精度决定门槛数量级,量化一档直接减半。
- 再挑满足门槛的最小卡型。 判据是单卡容量 ≥ 门槛。够用即止,容量冗余在按需计费下没有收益。
- 最后乘小时数并叠加通信成本。 判据是月内实际运行小时与是否跨卡并行。跨卡并行的通信开销不计入单价,但会拉长运行时间。
一、70B 的显存门槛:172.6GB、87.9GB、45.6GB
70B 级模型指参数量在 70B 上下的稠密模型,DeepSeek-R1-Distill-Llama-70B 为 71B、Qwen2.5-72B-Instruct 为 73B。按推理显存公式计算:
- 权重:参数量 × 每参数字节数,FP16 为 2 字节、INT8 为 1 字节、INT4 为 0.5 字节
- KV Cache:2 × 层数 × KV 头数 × 头维度 × 上下文长度 × 并发数 × 每元素字节数
- 运行时预留:按经验值 20% 计
以 8192 上下文、单并发计算,DeepSeek-R1-Distill-Llama-70B 的结论为 FP16 172.6GB、INT8 87.9GB、INT4 45.6GB。Qwen2.5-72B-Instruct 略高,为 177.7GB、90.5GB、46.8GB。
换算成算式更直观:71B × 0.5 字节 = 35.5GB 权重,KV Cache 约 2.5GB,合计 38GB,再乘 1.2 预留系数得 45.6GB。量化到 4 位是让 70B 从八卡机降到双卡机的关键一步。
作为对照,7B 级模型的 INT4 需求仅 5.1GB。这解释了为什么「7B 在自己的笔记本上能跑、70B 不行」:门槛相差 8.9 倍,不是优化问题。
二、24GB 卡为什么出局
45.6GB 的门槛决定了一张硬约束:24GB 与 32GB 的单卡都装不下 INT4 的 70B。
| 卡型 | 单卡显存 | INT4 70B 所需张数 | 结论 |
|---|---|---|---|
| RTX 3090 | 24GB | 2 | 单卡不可,双卡可跑 |
| RTX 4090 | 24GB | 2 | 单卡不可,双卡可跑 |
| RTX 5090 | 32GB | 2 | 单卡不可,双卡可跑 |
| RTX A6000 | 48GB | 1 | 单卡可跑 |
| L40S | 48GB | 1 | 单卡可跑 |
| A100 80GB | 80GB | 1 | 单卡可跑,INT8 需 2 张 |
| H100 80GB | 80GB | 1 | 单卡可跑,INT8 需 2 张 |
| H200 | 141GB | 1 | 单卡可跑,INT8 亦为 1 张 |
双卡方案有一个单价无法体现的成本:跨卡并行需要模型切分与卡间通信。两张 24GB 卡通过 PCIe 互联时的通信开销,会比单卡多出可观的等待时间。因此在同价位下,48GB 单卡的实测吞吐通常优于两张 24GB。
这一点在选型时容易被忽略:双卡方案在单价表上看起来便宜,但吞吐下降会把单位 token 成本抬回去。若任务对延迟敏感,应优先满足单卡容量;若只求跑通、可以接受较长耗时,双卡方案才有价格优势。
三、月账单:$180 到 $2585
把满足门槛的组合按当前最低在售价折算 720 小时(按需实例的上限值),得到下表。所有价格单位为美元,取自本站 2026-11-05 采集结果。
| 组合 | 单卡显存 | 每小时 | 月账单(720 小时) |
|---|---|---|---|
| 2 × RTX 3090(INT4) | 24GB | $0.250 | $180.0 |
| 1 × RTX A6000(INT4) | 48GB | $0.330 | $237.6 |
| 2 × RTX 4090(INT4) | 24GB | $0.680 | $489.6 |
| 1 × L40S(INT4) | 48GB | $0.790 | $568.8 |
| 1 × A100 80GB(INT4) | 80GB | $0.867 | $624.2 |
| 2 × RTX 5090(INT4) | 32GB | $0.994 | $715.7 |
| 1 × H100 80GB(INT4) | 80GB | $1.990 | $1432.8 |
| 1 × H200(INT8) | 141GB | $3.590 | $2584.8 |
读表要注意三件事。
第一,最低档不保证可长期使用。 $180 那一行用的是 Vast 撮合价,报价来自个别主机,稳定性不保证;并且双卡方案要求两张卡在同一台主机上,撮合市场里能同时满足的机器更少。
第二,720 小时是上限。 按需实例只在实际开机时间计费。月内运行 200 小时的话,$180 那一档实际为 $0.25 × 200 = $50。
第三,INT8 与 INT4 的账单差在卡数上,不在单价上。 INT8 的 87.9GB 门槛使 80GB 卡需要两张,账单随之翻倍;H200 的 141GB 是唯一能单卡跑 INT8 70B 的容量。
第四,快照本身要按口径读。 快照的日期字段只说明「哪天写的文件」,判断价格是否真的变过要看上游采集时间。本站 2026-10-30 至 11-03 曾有 5 个快照复制了同一份 2026-10-23 的采集数据,把同一价格渲染成了多日走势;这批重复点已在 2026-11-06 清理,并给采集与快照脚本加了「上游未刷新就不落盘」的校验(口径见 src/data/history/README.md)。按两次有效采集比较,8 个型号里只有 RTX 5090 的最低价从 $0.69 降至 $0.497(Vast 撮合价),其余 7 个型号未变。数据口径不清时,任何「降价了多少」的结论都不可靠。
如果换成开源自建的思路,同一笔钱能买到什么:$2584.8 相当于每月投入一台高配工作站的折旧。这也是租与买的分界线所在,但它取决于利用率,本文不代为判断。
一个常见的错误估算是按参数量的线性关系外推。71B 的 INT4 需求为 45.6GB,于是把 7B 的 5.1GB 乘以 10 得 51GB,两者相差 5.4GB。差额来自 KV Cache 与预留系数并不随参数量线性变化,外推会低估或高估一档卡型。
适用与不适用
适用于:
- 要在 70B 级模型上做推理服务、需要估算月度算力预算的团队。
- 已有一张 24GB 卡、想确认「加一张能不能跑 70B」的个人开发者。
- 在 INT4 与 INT8 之间权衡质量与成本的场景。
不适用于:
- 训练与全参数微调。训练显存约为推理的数倍,本文的推理公式不适用。
- MoE 架构的 70B 级模型。激活参数少但全部专家权重都要入显存,应按总参数量计算。
- 超长上下文场景。上下文从 8192 增至 32768 时,KV Cache 同步增至 4 倍,门槛会明显抬高。
- 需要精确吞吐与延迟承诺的场景。本文只给容量与账单,未包含实测 tokens/s。
- 已采购包月或预留实例的项目。折扣曲线与抵扣规则不在本文的按需价模型内。
延伸阅读:DeepSeek-R1-Distill-Llama-70B 在 12 张卡上的落点结论 · GPU 显存计算器 · GPU 租用逐型号实时报价 · GPU 租用价为什么对不上:四种报价口径