首先还是简单介绍一下这里涉及到的显卡基本知识。H100是目前全球性能最高的专业级显卡，特别适合用来训练大语言模型这种超大规模参数的大模型。速度很快。在16-bit训练上，比A100快2.3倍，在16-bit的推理上比A100快3.5倍。

当然，与H100经常一起出现的还有H100s, GH200s, DGX GH200s, HGX H100s, 和 DGX H100s这些名称，其基本区别如下：

也就是说，H100只是一个显卡，但是尝试可以创建服务器，包含4个或者8个H100一起互联，用以提供给大模型训练等。这里还有一个注意的Grace CPU，这是英伟达自己基于ARM开发的服务端CPU。

这里带有GH的表示配备了英伟达Grace CPU的服务器，DGX则表示是英伟达自己供应的带有GPU的服务器。

这篇博客中还介绍了一些模型训练使用的GPU数量，当然这些数据原文都有参考文献和出处，我们就不列举了。