直接答案：按 2026-11-07 检索的官方按需价（Linux、AWS us-east-1 / Azure eastus、不含存储/流量/税/折扣），8 卡 H100 节点：AWS p5.48xlarge 为 55.04 美元/小时（6.88 美元/GPU·小时，按 730 小时约 40,179 美元/月）；Azure ND96isr H100 v5 为 98.32 美元/小时（12.29 美元/GPU·小时，约 71,774 美元/月）。Azure 的节点小时价按列表价约高 78.6%。单卡推理档：AWS g6.xlarge（1×L4 24GB）0.8048 美元/小时（约 588 美元/月），g6e.xlarge（1×L40S 48GB）1.861 美元/小时（约 1,359 美元/月）；Azure NV36ads A10 v5（1×A10 24GB）3.20 美元/小时（约 2,336 美元/月）。注意 Azure NV12ads A10 v5 只有 1/3 张 A10，0.908 美元/小时看似便宜，折合完整 GPU 小时是 2.724 美元。结论：先统一到“每 GPU·小时 + 实际利用率 + 互联/显存”再比价，不要拿节点总价或“几分之一张卡”直接对比。
本文面向需要做 AI 训练/推理预算、云厂商选型和采购谈判的架构、算法、运维与采购团队。价格来自 AWS 官方按需价 JSON 与 Azure Retail Prices API（均于 2026-11-07 检索）；规格来自 AWS 产品页与 Microsoft Learn 的实例系列文档。本文把“官方价格事实”“编辑测算”和“未纳入项”分开写。
① 8 卡 H100 的“每 GPU·小时”比节点总价更有意义：AWS 6.88 美元 vs Azure 12.29 美元（列表价）。② 单卡档要先看显存和“GPU 份额”：1/3 张 A10 不能按整卡价比较。③ 利用率低于 60% 时，闲置成本会把“便宜”的单价吃掉；先算有效每 GPU·小时，再谈预留/节省计划。
口径：这是什么价格，不是什么价格
本文只比较按需（on-demand）、Linux、公开列表价：AWS 取 us-east-1（N. Virginia），Azure 取 eastus；时间点为 2026-11-07。价格不含云盘/本地盘、对象存储、公网出流量、NAT/负载均衡、快照备份、Windows 授权、企业支持计划、税费，也不含预留实例、节省计划、Spot/低优先级和任何私下折扣。730 小时是“365×24÷12”的月均口径，实际账单按秒/分钟计费，月份长度不同会有小幅差异。两个厂商的列表价都可能随时调整，采购前应重新查询。
H100 八卡节点：AWS vs Azure
同样是 8 张 H100 80GB，两家的节点小时价差距很大：AWS p5.48xlarge 为 55.04 美元/小时，Azure ND96isr H100 v5 为 98.32 美元/小时；折到每张 GPU，分别是 6.88 和 12.29 美元/小时。按 730 小时，月费分别约 40,179 和 71,774 美元，差额约 31,594 美元/月。规格上两者并不完全对等：AWS 给 192 vCPU、2,048 GiB 内存和 3,200 Gbps EFA；Azure 给 96 vCPU、1,900 GiB 内存和每 GPU 400 Gbps InfiniBand。价格差可能包含网络、代次、区域和商务折扣等因素，不能简单归因于“谁更贵”，但列表价下 Azure 的每 GPU·小时确实更高。
| 实例 | GPU | vCPU / 内存 | 互联 | 按需价（USD/h） | 每 GPU·小时 | 730h 月费 |
|---|---|---|---|---|---|---|
| AWS p5.48xlarge | 8×H100 80GB | 192 / 2,048 GiB | 3,200 Gbps EFA | 55.04 | 6.88 | 约 40,179 |
| Azure ND96isr H100 v5 | 8×H100 80GB | 96 / 1,900 GiB | 8×400 Gbps InfiniBand | 98.32 | 12.29 | 约 71,774 |
来源：AWS EC2 按需价 JSON（us-east-1、Linux、on-demand，2026-11-07）、Azure Retail Prices API（eastus、Linux、Consumption，2026-11-07）；规格来自 AWS P5 产品页与 Microsoft Learn ND-H100-v5 文档。月费=小时价×730，未计存储、流量、税和折扣；Azure 列表价较 AWS 高约 78.6%（按节点小时）。
单卡/小规模推理：L4、L40S、A10 怎么比
单卡档最容易踩的坑是“GPU 份额”。AWS g6.xlarge 是 1 张完整 L4（24GB），g6e.xlarge 是 1 张完整 L40S（48GB）；Azure NV36ads A10 v5 是 1 张完整 A10（24GB），而 NV12ads A10 v5 只有 1/3 张 A10、8GB 显存。因此 NV12ads 的 0.908 美元/小时不能和整卡价比：折合完整 GPU 小时是 2.724 美元，反而高于 AWS 的整卡 L4。若模型能装进 8GB 且并发很低，1/3 卡仍有意义；若需要 24GB 显存或稳定吞吐，应按整卡比较。
| 实例 | GPU | GPU 份额 / 显存 | vCPU / 内存 | 按需价（USD/h） | 每完整 GPU·小时 | 730h 月费 |
|---|---|---|---|---|---|---|
| AWS g6.xlarge | 1×L4 | 1 / 24GB | 4 / 16 GiB | 0.8048 | 0.8048 | 约 588 |
| AWS g6e.xlarge | 1×L40S | 1 / 48GB | 4 / 32 GiB | 1.8610 | 1.8610 | 约 1,359 |
| Azure NV12ads A10 v5 | 1/3×A10 | 1/3 / 8GB | 12 / 110 GiB | 0.9080 | 2.7240 | 约 663 |
| Azure NV36ads A10 v5 | 1×A10 | 1 / 24GB | 36 / 440 GiB | 3.2000 | 3.2000 | 约 2,336 |
来源：AWS EC2 按需价 JSON（us-east-1、Linux）、Azure Retail Prices API（eastus、Linux）、AWS G6/G6e 产品页、Microsoft Learn NVadsA10_v5 文档（访问 2026-11-07）。L4、L40S、A10 不是同一性能档，表中只做价格与规格归一，不做性能等价结论；“每完整 GPU·小时”=小时价÷GPU 份额。
利用率：单价的“隐形放大器”
按需价买的是“占用的时间”，不是“算完的任务”。如果一个月只跑 30% 的时间，有效每 GPU·小时就是标价的 3.3 倍；60% 利用率则是 1.67 倍。对训练集群，排队、调试、数据加载和故障恢复都会拉低有效利用率；对推理，波峰波谷和冷启动同样会造成闲置。先测出自己的稳定利用率，再决定“买预留/节省计划”还是“按需+Spot 混合”，比只看小时价更可靠。
| 方案 | 100% 利用率 | 60% 利用率 | 30% 利用率 |
|---|---|---|---|
| AWS p5.48xlarge（每 GPU·小时） | 6.88 | 11.47 | 22.93 |
| Azure ND96isr H100 v5（每 GPU·小时） | 12.29 | 20.48 | 40.97 |
| AWS g6.xlarge（每 GPU·小时） | 0.8048 | 1.34 | 2.68 |
| Azure NV12ads A10 v5（每完整 GPU·小时） | 2.724 | 4.54 | 9.08 |
编辑测算：有效每 GPU·小时=标价÷利用率；未计存储、流量、税和折扣。利用率应按“GPU 实际执行任务的时间/计费时间”统计，不能用 CPU 或整机在线时长代替。
列表价之外：还有哪些成本
云 GPU 账单很少只有“实例小时”。训练/推理还会带出云盘、镜像、对象存储、日志、公网出流量、跨区复制、负载均衡、NAT、备份和监控；多机训练还会增加集群网络与调度组件的开销。把这些科目按“是否随 GPU 数量线性增长”分类，能避免预算只覆盖主机、上线后被存储和流量超支。下表是编辑整理的科目，不是厂商报价。
| 成本科目 | 触发条件 | 估算方法 |
|---|---|---|
| 云盘/本地盘 | 数据集、模型权重、检查点、镜像 | 按容量×月单价；训练检查点按保留份数×大小 |
| 对象存储 | 数据湖、模型仓库、备份 | 按存储量+请求数+取回流量 |
| 公网出流量 | 对外推理 API、模型下载、跨区传输 | 按 GB×出流量单价；先估算峰值与月总量 |
| 网络与网关 | 负载均衡、NAT、专线/VPN | 按实例小时+处理流量；多可用区会翻倍 |
| 快照/备份 | 合规、回滚、灾备 | 按快照容量+跨区复制 |
| 支持计划 | 生产 SLA、7×24 响应 | 按云消费比例或固定档位 |
| 闲置与排队 | 调试、数据加载、故障恢复 | 按有效利用率折算，见上一节 |
编辑整理；具体单价与计费规则以 AWS/Azure 官方计价页和账单为准。表中未列税费、汇率、迁移人力和自建运维成本。
按场景选：训练、推理、图形与 POC
选型先看“瓶颈是显存、互联还是单卡算力”。大模型训练和多机 HPC 需要 8 卡节点的高带宽互联（EFA/InfiniBand）和足够的本地盘；推理/微调更看显存容量、批处理效率和单位 token 成本，L40S 48GB 与 L4 24GB 往往比 8 卡 H100 更合适；图形/虚拟桌面需要 GRID 授权和帧缓冲，Azure NV 系列自带 GRID 许可；POC 或低频任务先用单卡或 Serverless GPU，避免为峰值买整月。没有性能基准时，不要仅凭价格判断“哪张卡更快”。
| 场景 | 建议档位 | 关键约束 | 先验证 |
|---|---|---|---|
| 大模型预训练/多机 HPC | 8×H100/H200 节点 | GPU 互联、拓扑、EFA/IB、检查点存储 | 多机扩展效率、故障恢复时间 |
| 推理/微调 | L40S 48GB、L4 24GB、A10 24GB | 显存、批处理、量化、并发 | 单位 token/请求成本、P95 延迟 |
| 图形/虚拟桌面 | 带 GRID 的 A10 系列 | 帧缓冲、并发用户、授权 | 每用户密度、编码延迟 |
| 小规模 POC | 单卡按需或 Serverless GPU | 冷启动、显存、数据合规 | 是否值得转为包月/预留 |
| 稳定生产推理 | 预留/节省计划+按需兜底 | 承诺期、区域、可迁移性 | 折扣后的有效每 GPU·小时 |
编辑整理的选择框架，不是厂商推荐；GPU 性能、显存带宽和互联能力需按实际模型与框架实测。
询价与决策清单
把下面 7 个问题问清楚，通常能避免“看起来便宜、账单更贵”。重点是统一计费口径、确认 GPU 份额与互联、把存储/流量/支持纳入总价，并明确折扣的承诺期和退出条件。
| 问题 | 为什么问 | 期望答案 |
|---|---|---|
| 价格是哪个区域、哪种 OS、哪种计费？ | 不同区域/Windows/按需与预留差异大 | 明确 region、Linux/Windows、on-demand/reserved/spot |
| GPU 是整卡还是分数卡？显存多少？ | 1/3 卡与整卡不能直接比价 | GPU 型号、数量/份额、显存 GB |
| GPU 间互联是什么？带宽多少？ | 训练扩展效率取决于互联 | NVLink/PCIe、EFA/IB、每 GPU 带宽 |
| 存储、流量、快照、支持是否包含？ | 列表价通常不含这些科目 | 逐项单价或“另计”的明确说明 |
| 预留/节省计划的折扣与承诺期？ | 折扣可能绑定区域/实例族/期限 | 折扣率、期限、可退/可换条件 |
| 容量与配额能否保证？ | 有价无货会拖慢训练计划 | 可用区、配额、预留容量条款 |
| 税费、汇率、付款方式？ | 跨境采购的实际落地成本 | 含税/不含税、币种、账期 |
编辑整理的采购问题清单，不构成商务或法律建议；具体条款以合同和厂商书面报价为准。
常见问题
为什么 Azure 的 H100 节点比 AWS 贵这么多？
按 2026-11-07 的公开列表价，Azure ND96isr H100 v5 为 98.32 美元/小时，AWS p5.48xlarge 为 55.04 美元/小时，节点小时价约高 78.6%。两者规格、网络方案、区域和商务折扣不同，列表价不能直接等同于实际成交价；采购时应拿同区域、同期限、同支持等级的报价比较每 GPU·小时。
8 卡节点这么贵，为什么不买 8 台单卡？
训练大模型需要 GPU 之间的高带宽互联（NVLink/EFA/InfiniBand）和一致的拓扑；8 台单卡之间通常只有普通网络，扩展效率会大幅下降。单卡适合推理、微调、图形和 POC，不等于“8 台单卡=1 台 8 卡”。
1/3 张 A10 能跑推理吗？
可以，但要先确认模型和并发能装进 8GB 显存。NV12ads A10 v5 的 0.908 美元/小时是 1/3 卡的价格，折合完整 GPU 小时为 2.724 美元；如果模型需要 24GB 显存或稳定吞吐，应按 NV36ads 等整卡档比较。
月费为什么按 730 小时算？
730 小时是 365×24÷12 的月均口径，便于把小时价换算成月度预算。实际计费按秒/分钟，月份长度不同会有差异；若只在工作日运行，应按实际开机小时而不是 730 估算。
预留实例或节省计划能省多少？
本文没有纳入预留/节省计划、Spot 或私下折扣，因为折扣随区域、实例族、期限和承诺量变化。采购时应向厂商索取同口径报价，并把折扣后的有效每 GPU·小时与按需价、利用率一起比较。
Spot/低优先级实例能用吗？
适合可中断的批处理、渲染、离线训练检查点等任务，价格通常显著低于按需；但不适合有严格 SLA 的在线推理。使用前要设计检查点、重试和容量回退，避免中断造成更大损失。
这些价格包含存储和流量吗？
不包含。表中只含实例小时价；云盘/本地盘、对象存储、公网出流量、NAT/负载均衡、快照、支持和税费都可能另计。上线前应把上一节的科目纳入总拥有成本。
为什么没有 Google Cloud？
本次检索时，Google Cloud 的公开定价页以计算器/动态表格为主，未能在不登录、不调用需密钥的 Cloud Billing Catalog API 的情况下取得可复核的静态列表价。为避免编造数字，本文只比较 AWS 与 Azure；需要 GCP 报价时应以其官方计算器或商务报价为准。
研究方法与局限
本文把“官方价格事实”和“编辑测算”分开：AWS 小时价来自 AWS 官方 EC2 按需价 JSON（manifest 时间 2026-11-07T00:28:52Z，us-east-1、Linux、on-demand）；Azure 小时价来自 Azure Retail Prices API（eastus、Linux、Consumption，2026-11-07）；GPU 型号、数量、显存、vCPU、内存和互联来自 AWS P5/G6/G6e 产品页与 Microsoft Learn 的 ND-H100-v5、NVadsA10_v5 文档。月费、每 GPU·小时、利用率折算和成本科目为编辑测算。
局限有七个：① 只覆盖 AWS us-east-1 与 Azure eastus 的按需 Linux 列表价，不含其他区域、Windows、预留/节省计划、Spot、税费和私下折扣；② 未纳入存储、流量、网络、备份、支持等科目；③ L4、L40S、A10 不是同一性能档，本文只做价格/规格归一，不做性能等价；④ 730 小时是月均口径，实际账单按秒/分钟计；⑤ 价格会随厂商调整，发布后应重新查询；⑥ 未覆盖 Google Cloud 等其它厂商，原因见 FAQ；⑦ 本文不构成采购、商务或法律建议。性能、显存带宽和互联效率必须在自己的模型与框架上实测。
数据来源与口径
- AWS, EC2 On-Demand pricing JSON（us-east-1、Linux、on-demand）：b0.p.awsstatic.com/.../US East (N. Virginia)/Linux/index.json。p5.48xlarge 55.04、g6.xlarge 0.8048、g6e.xlarge 1.8610 美元/小时；manifest 2026-11-07。访问 2026-11-07。
- AWS, Amazon EC2 P5 Instances：aws.amazon.com/ec2/instance-types/p5/。p5.48xlarge：192 vCPU、2 TiB 内存、8×H100 80GB、3,200 Gbps EFA。访问 2026-11-07。
- AWS, Amazon EC2 G6 / G6e Instances：aws.amazon.com/ec2/instance-types/g6/、aws.amazon.com/ec2/instance-types/g6e/。g6.xlarge：1×L4 24GB、4 vCPU、16 GiB；g6e.xlarge：1×L40S 48GB、4 vCPU、32 GiB。访问 2026-11-07。
- Microsoft, Azure Retail Prices API（eastus、Virtual Machines、Consumption）：prices.azure.com/api/retail/prices。ND96isr H100 v5 98.32、NV12ads A10 v5 0.908、NV36ads A10 v5 3.20 美元/小时。访问 2026-11-07。
- Microsoft Learn, ND-H100-v5 sizes series：learn.microsoft.com/.../ndh100v5-series。8×H100 80GB、96 vCPU、1,900 GiB、每 GPU 400 Gbps InfiniBand。访问 2026-11-07。
- Microsoft Learn, NVadsA10_v5 sizes series：learn.microsoft.com/.../nvadsa10v5-series。NV12ads 为 1/3×A10 8GB，NV36ads 为 1×A10 24GB；系列自带 GRID 许可。访问 2026-11-07。
资料截止 2026-11-07；价格与规格以厂商官方页面/API 为准；本文不构成采购、商务或法律建议。