> 自媒体 > (AI)人工智能 > 3.9分钟训完GPT-3,英伟达H100再次刷新MLPerf六项纪录
3.9分钟训完GPT-3,英伟达H100再次刷新MLPerf六项纪录
来源:IT之家
2023-11-14 13:47:39
538
管理

IT之家 11 月 9 日消息,英伟达今天发布新闻稿,表示旗下的 H100 GPU 在 MLPerf 基准测试中创造了 6 项新记录。

IT之家今年 6 月报道,3584 个 H100 GPU 群在短短 11 分钟内完成了基于 GPT-3 的大规模基准测试。

MLPerf LLM 基准测试是基于 OpenAI 的 GPT-3 模型进行的,包含 1750 亿个参数。

Lambda Labs 估计,训练这样一个大模型需要大约 3.14E23 FLOPS 的计算量。

英伟达最新的 Eos AI 超级计算机配备了 10752 个 H100 Tensor Core GPU 和 NVIDIA 的 Quantum-2 InfiniBand 网络,训练完 GPT-3 仅仅只需要 3.9 分钟,比 6 月的测试结果整整快了 7 分钟。

英伟达在帖中,的另一项创纪录的成就是在“系统扩展”方面取得的进步,通过各种软件优化,效率提高到了 93%。

高效扩展在行业中非常重要,因为实现高计算能力需要使用更多的硬件资源,如果没有足够的软件支持,系统的效率会受到大幅影响。

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
关于作者
天泰悠然(普通会员)
文章
2046
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40418 企业收录2986 印章生成263660 电子证书1157 电子名片68 自媒体114249

0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索