大家好，我是老猫，猫头鹰的猫。

2024年，随着AIGC的火爆，数据中心市场GPU一卡难求，今天我们来聊聊近两年数据中心市场那些非常火爆的NVIDIA GPU。

我们知道，NVIDIA 在2020年发布了基于Ampere架构的A100。然后在2022年，NVIDIA 又发布了基于Hopper架构的H100。在2023年NVIDIA 发布了L40S。

如今，NVIDIA已发布GPU型号有A100、H100，L40S，当然还有即将发布的H200都是市场上的香饽饽。

在2024年，NVIDIA即将发布H200，虽然还没有正式对外发布，但是部分规格已经对外公开。于是，我将目前对外的参与汇总成以下表格：

基于上述表格的比较，我预计H200在GPU用例上的表现将超过上一代和当前一代的NVIDIA数据中心GPU。当前一代的H100与H200非常接近，具有几乎相同的多精度计算性能。因此，虽然H200将提供性能改进，但考虑到性价比等因素，H100仍将可能是用户是首选。

至于A100，与其它产品相比，它是性能最差的GPU，但在某些特殊任务上仍然能够提供稳定的性能。

L40S不同于A100和H100，因为它内置有142个第三代RT核心，可提供212TFLOPS的光追性能。同时第四代张量核心为568。然而，关于H200的这些参数我们还没有足够的信息，所以L40S和H200的对比还有待观察。

了解完A100、H100、L40S和H200的具体参数，下面我们来依次看一下这几个GPU到底有何不同？

▉ 性能最低的A100 GPU

A100是NVIDIA在2020年发布，是首款采用Ampere架构的GPU，这种架构带来的好处就是显著的提升了性能。

在2022年H100发布之前，A100是领先的GPU平台。由于改进了Tensor核心，增加了更多的CUDA核心数量、增强了的内存以及有史以来最快的2 Tbps内存带宽让A100在性能方面与之前的GPU产品遥遥领先。

同时，A100还能够支持多实例GPU功能，可以将单个A100 GPU分割成多个更小、更独立的GPU，从而在云和数据中心中最大限度的分配资源和提高效率。

尽管现在在性能上已经被后续产品超越，但即便在现在，A100在训练复杂的神经网络、深度学习和AI学习任务方面仍然是一个绝佳选择，因为它具有强大的张量核心和高计算吞吐量。

另外，A100在AI推理任务方面同样表现突出，在语音识别、图像分类、推荐系统、数据分析和大数据处理、科学计算和模拟以及包括基因测序和药物发现在内的高性能计算任务等人工智能推理任务上表现出色。

▉AI应用的绝佳选择H100

H100是NVIDIA在2022年推出的产品，这款产品能处理最具苛刻的人工智能工作负载和大规模数据处理任务。

值得注意的是，H100升级了Tensor核心，从而大大提升AI训练和推理速度。另外它还能够支持双精度（FP64）、单精度（FP32）、半精度（FP16）和整数（INT8）计算负载。

相比A100，H100的FP8计算速度提升六倍，达到4petaflops。内存增加50%，使用HBM3高带宽内存，带宽可达3 Tbps，外部连接速度几乎达到5 Tbps。此外，新的Transformer引擎使模型转换器训练速度提升高达六倍。

尽管H100和A100在使用场景和性能特点上有相似之处，但H100在处理大型AI模型和更复杂的科学模拟方面表现更佳。H100是高级对话式AI和实时翻译等实时响应型AI应用的更优选择。

总之，H100在AI训练和推理速度、内存容量和带宽、以及处理大型和复杂AI模型方面相比A100有显著的性能提升，适用于对性能有更高要求的AI和科学模拟任务。

▉ 最强大的GPU之一L40S

L40S是NVIDIA最强大的GPU之一，其在2023年推出，其旨在处理下一代数据中心工作负载：生成式AI、大型语言模型（LLM）推理和训练，3D图形渲染、科学模拟等场景。

与前一代GPU（如A100和H100）相比，L40S在推理性能上提供了高达5倍和高达2倍的实时光线追踪（RT）性能。内存方面，48GB GDDR6内存ECC (Error Correcting Code)在高性能计算环境中，对数据完整性的维护起着至关重要的作用。

另外，L40S配备超过18,000个CUDA核心，这些并行处理器是处理复杂计算任务的关键。

L40S更注重可视化方面的编解码能力，而H100则更专注于解码。尽管H100的速度更快，但价格也更高。从市场情况来看，L40S相对更容易获得。

综上所述，L40S在处理复杂和高性能的计算任务方面具有显著优势，特别是在生成式AI和大型语言模型训练等领域。其高效的推理性能和实时光线追踪能力使其成为数据中心不可忽视的存在。

▉ 2024年即将发布的H200

H200将是NVIDIA GPU系列中的最新产品，预计在2024年第二季度就将能够发货。

这是是首款采用HBM3e GPU（内存，相较此前速率更快、容量更大），进一步加速生成式AI与大语言模型，同时推进用于HPC（高性能计算）工作负载的科学计算，可提供传输速度4.8 TB/秒的141GB显存，与上一代架构的NVIDIA A100相比容量翻了近一倍，带宽增加了2.4倍。

在高性能计算方面，与CPU相比，H200能实现高达110倍的加速，从而更快地得到结果。

在处理Llama2 70B推理任务时，H200的推理速度是H100 GPU的两倍。

H200将在边缘计算和物联网（IoT）应用中的人工智能物联网（AIoT）方面发挥关键作用。

在包括最大型模型（超过1750亿参数）的LLP训练和推理、生成式AI和高性能计算应用中，可以期待H200提供最高的GPU性能。

总之，H200将在AI和高性能计算领域提供前所未有的性能，特别是在处理大型模型和复杂任务时。它的高内存容量和带宽，以及优异的推理速度，使其成为处理最先进AI任务的理想选择。

官网信息显示，H200 将于 2024 年第二季度开始向全球系统制造商和云服务提供商供货。但对于 H200 的价格，英伟达还没有透露具体数字。CNBC 报道称，上一代 H100 的售价估计为每台 2.5 万美元至 4 美元，需要数千台才能以最高水平运行。

英伟达表示，从明年开始，亚马逊网络服务、谷歌云、微软 Azure 和甲骨文云基础设施将成为首批部署基于 H200 实例的云服务提供商。

总结：

根据初始规格和初步性能基准，NVIDIA H200在整体性能、节能和TCO(总拥有成本)方面似乎比A100和H100 GPU向前迈出了重要一步。

希望这份对比指南能够帮助您选择合适的NVIDIA数据中心GPU，作为解决您在数据中心或边缘的深度学习和AI、 HPC、图形或虚拟化方面的业务问题的理想解决方案。