MLCommons发布了最新的MLPerf 2.0基准测评结果。 在新一轮的测试中,MLPerf新添加了一个对象检测基准,用于在更大的 OpenImages 数据集上训练新的 RetinaNet。 MLperf 表示,这个新的对象检测基准能够更准确反映适用于自动驾驶、机器人避障和零售分析等应用的先进机器学习训练成果。
MLPerf 2.0的结果与去年12月发布的v1.1结果大致相同,AI的整体性能比上一轮发布提高了大约1.8倍。
有21家公司和机构在最新测试中提交了MLPerf基准测试的成绩,提交总数超过了260份。
NVIDIA 依然「打满全场」本次测试中,NVIDIA依然是唯一完成2.0版本中全部8项基准测试的参与者。 这些测试囊括了目前流行的AI用例,包括语音识别、自然语言处理、推荐系统、目标检测、图像分类等。
除了NVIDIA之外,没有其他加速器执行完所有基础测试,而NVIDIA自2018年12月首次向MLPerf提交测试结果以来,就一直完成所有基础测试。
共有16家合作伙伴使用了NVIDIA平台提交本轮测试结果,包括华硕、百度、中国科学院自动化研究所、戴尔科技、富士通、技嘉、新华三、慧与、浪潮、联想、宁畅和超微。 此次测试中NVIDIA及其合作伙伴占了所有参赛生态伙伴的90%。
这显示出了NVIDIA模型良好的通用性。
通用性在实际生产中,为模型协同工作提供了基础。 AI应用需要理解用户要求,并根据要求对图像进行分类、提出建议并以语音信息的形式进行回应。
要完成这些任务,需要多种类型的AI模型协同工作。 即使是一个简单的用例也需要用到将近10个模型,因此AI模型通用性需达到一定水平。
好的通用性意味着用户在整个AI流程中可以尽可能的使用相同的设施工作,并且还能够兼容未来可能出现的新需求,进而延长基础设施的使用寿命。
AI 处理性能三年半提高 23 倍在本次基准测评结果中,NVIDIA A100仍然保持了其单芯片性能的领导者地位,在8项测试中,有4项取得最快速度的成绩。
两年前,NVIDIA在MLPerf 0.7的基准测试中首次使用了A100 GPU,这次已经是NVIDIA第四次使用该GPU提交基准测试成绩。
自MLPerf问世以来的三年半时间里,NVIDIA的AI平台在基准测试中已经实现了23倍的性能提升。 而自首次基于A100提交MLPerf基准测试两年以来,NVIDIA平台的性能也已经提高了6倍。
性能的不断提升得益于NVIDIA在软件上的创新。 持续释放了Ampere架构的更多性能,如在提交结果中大量使用的CUDA Graphs可以最大限度减少跨多加速器执行的启动开销。
值得注意的是在本轮测试中NVIDIA没有选择使用最近发布的Hopper GPU,而是选择了Ampere架构的NVIDIA A100 Tensor Core GPU。
NVIDIA的Narasimhan表示他们更希望专注于商业上可用的产品,这也是NVIDIA选择在本轮中基于A100提交结果的原因。
鉴于新的Hopper Tensor Cores能够应用混合的FP8和FP16精度的数据,而在下一轮MLPerf测试中NVIDIA很有可能会采用Hopper GPU,可以预见在下一轮基准测试中,NVIDIA的成绩有望取得更大的增长。