SECTIONS
EDITIONS
NETWORK
示意配图（AI 生成·非官方产品图）· 萬安百科
NVIDIA A10
Ampere 单槽被动 · 24GB GDDR6 600GB/s · INT8 125 TOPS · 150W · 云推理主力词条
概述OVERVIEW
NVIDIA A10 是 Ampere 世代的单槽被动推理卡（2021-04-12 发布，官方 Datasheet 口径，2026-11 核验）：24GB GDDR6 · 600GB/s、INT8 125 TOPS（稀疏 250·官方口径）、FP32 31.2 TFLOPS、 150W 单槽被动散热、PCIe Gen4——图形/视频转写（NVENC）/AI 推理三能。云厂商推理实例的主力卡 （阿里云/腾讯云等 gn6i 类实例标准配置·云厂商口径）——云上按卡计费的 AI 推理，多数跑在这张卡上。
沿革HISTORY
- 2021-04-12：A10 发布（Ampere 数据中心线·官方口径）。
- 2021-2024：云厂商推理实例规模化装机（gn6i/A10 实例族·云厂商口径）——国内云推理的事实标准卡之一。
- 现役：A10 云实例仍在供给（与 L4/L40S 新档并行·云厂商口径）；流通市场保有量大。
推理卡谱系对照GENERATIONS
| 维度 | NVIDIA A10（本词条·官方口径） | NVIDIA L4（词条） | NVIDIA L40S（词条） |
|---|---|---|---|
| 架构 | Ampere | Ada Lovelace | Ada Lovelace |
| 显存 | 24GB GDDR6 · 600GB/s | 24GB GDDR6 · 300GB/s | 48GB GDDR6 · 864GB/s |
| INT8 | 125 TOPS（稀疏 250） | —（官方页为准） | —（官方页为准） |
| 功耗/形态 | 150W · 单槽被动 | 72W · 单槽被动 | 350W · 双槽被动 |
| 定位 | 云推理主力+图形转写三能 | 低功耗推理/视频 | 高吞吐推理/渲染 |
口径：A10 列=NVIDIA 官方 Datasheet（2026-11 核验）；L4/L40S 列=各自官方 Datasheet 口径。INT8 数字均为稠密口径（稀疏翻倍·官方口径）。
技术规格SPECS
| 项目 | 规格（NVIDIA 官方 Datasheet 口径） |
|---|---|
| 架构 | Ampere · 三代 Tensor Core · 二代 RT Core（72 个） |
| FP32 | 31.2 TFLOPS |
| Tensor | TF32 62.5 TFLOPS · BF16 125 TFLOPS · INT8 125 TOPS（稀疏 250）· INT4 500 TOPS（稀疏） |
| 显存 | 24GB GDDR6 · 384bit · 600GB/s |
| 总线 | PCIe Gen4 x16（64GB/s） |
| 功耗/形态 | 150W · 单槽被动散热（主流服务器友好） |
| 多媒体 | NVDEC/NVENC 转写引擎（图形+视频+AI 三能·官方口径） |
| AI 栈 | CUDA 全生态 · TensorRT 推理（生态口径） |
模型适配MODEL FIT
| 场景 | 24GB 显存的适配口径（推算：权重×精度+开销） |
|---|---|
| 7B–14B 级 | INT8/4-bit 量化推理舒适——云实例按卡弹性扩容（推算口径） |
| 30B 级 4-bit | 贴边缘可容（推算口径）——600GB/s 带宽为解码吞吐约束项 |
| 视频+AI 混载 | NVENC 转写与推理同卡——云厂商实例的差异化能力（官方口径） |
24GB 档云端平替——去模型广场按需调用
萬安云 · 模型广场 →局限与边界LIMITS
- 带宽约束：600GB/s 对 L40S 864GB/s——大模型解码吞吐按带宽核算（官方规格对照）。
- 训练不定位：150W/无 NVLink——训练场景上移 A100/H100 线（架构边界如实）。
- 云溢价提示：云实例按卡计费——长期高利用率负载自建与租用对账后再定（本库不收录价格）。
常见问题FAQ
A10 为什么是云推理实例主力？
三件（官方口径）：①24GB GDDR6+150W 单槽被动——密度与功耗对云机房友好 ②INT8 125 TOPS（稀疏 250）推理档够用 ③三代 Tensor Core+NVENC 转写双能——各大云厂商 gn6i 类实例的标准卡（云厂商口径）。
A10 和 A10G/A2 差在哪？
同族分档：A10=150W 全功能档（24GB·本词条）；A10G=更小功耗的云游戏/图形裁剪档；A2=20GB 超低功耗边缘档——选型按功耗墙与场景，别混购。
A10 跑大模型什么水平？
24GB 单卡：7B–14B 级量化推理舒适（推算口径）——600GB/s 带宽对解码吞吐是主要约束；多卡组合承大模型，云上按实例弹性扩（推理定位，训练看 A100/H100 线）。
相关词条SEE ALSO
NVIDIA L4（低功耗推理档）
NVIDIA L40S（高吞吐推理档）
NVIDIA RTX 4090（24GB 消费档）
NVIDIA Tesla P40（上代推理卡）
CUDA（生态词条）
算力生态格局