英伟达今日宣布其GH200数据中心GPU已经开始量产,将首先提供给谷歌云、Meta(Facebook)和微软云服务。GH200是英伟达首款专为大规模AI训练和推理设计的数据中心GPU,其训练速度比上一代快2.2倍。这将大大加速基于 Transformer 的模型(如GPT-3)的训练过程,使其能够在更短的时间内达到更强的表现。

GH200的推出将直接影响和加速GPT-3等大型语言模型的训练。GPT-3包含了1750亿参数,要训练这么庞大的模型往往需要数周乃至数月。GH200的强大算力可以使这一过程缩短至一周以内,大幅提高研究效率,使得更大规模和更强大的模型成为可能。

长期而言,GH200代表了人工智能芯片的最新成果,其强劲性能将直接推动基于Transformer与大规模神经网络的创新应用。它为研究机构与企业提供了强大工具,加速人工智能基础研究与应用发展。谷歌云、Meta与微软云作为首批用户,也必将基于此获得较大技术优势,在人工智能与云服务领域进一步巩固其领先地位。