GPU 베치마크 자료 - 2021

딥러닝 위한 GPU 비교

딥러닝용 GPU 벤치마크 자료가 있어서 정리해 봅니다. 딥러닝 시스템을 도입하려는 분들이 GPU를 비교하는데 도움이 되기를 바랍니다.

1. RTX 3090 vs. RTX 3080 vs. TITAN RTX vs. RTX 2080 Ti benchmarks (FP32, FP16)

미국의 GPU 서버, 워크스테이션 공급업체인 Bizon사에서 2020년 11월 20일에 발표한 자료입니다. 원 글의 제목은 “2020-2021년 딥러닝에 가장 좋은 GPU"입니다. 아래 링크에 원문이 있습니다.
Bizon사 GPU 벤치마크

간단히 요약해 보겠습니다.

벤치마크 환경

• Deep Learning Models:

  • Resnet50
  • Resnet152
  • Inception V3
  • Inception V4
  • VGG16

• Drivers and Batch Size:

  • Nvidia Driver: 455
  • CUDA: 11.1
  • TensorFlow: 1.x
  • Batch size: 64

벤치마크 결과

fp32로 한 벤치마크 결과입니다.

fp16으로 한 벤치마크 결과입니다.

이 결과를 보면 1GPU의 경우 역시 RTX 3090의 성능이 가장 우수한 것을 알 수 있습니다. 그러나 4GPU의 경우 RTX 3090의 성능이 선형적으로 향상되지 않는 것이 보입니다. 이것은 발열에 의한 성능 억제 또는 시스템의 I/O에서 병목이 원인이 될 수도 있을 것 같습니다. 이 보고서에는 이 원인에 대한 분석은 없습니다. 4GPU의 경우 RTX 2080 Ti 성능이 선형적으로 증가하여 RTX 3090과 비슷하게 나오는 것을 볼 수 있습니다.

2. NVIDIA RTX A6000 Deep Learning Benchmarks

또 다른 GPU 벤치마크 보고서는 미국의 람다라는 회사에서 2021년 1월 4일에 발표한 자료입니다.
Lambda사 GPU 벤치마크
이 보고서는 RTX A6000 GPU 제품이 나오면서 다른 GPU와 비교해본 자료입니다. 참고로 RTX A6000은 쿼드로 계열로 그래픽용 GPU이며 워크스테이션이나 데스크탑용입니다. 물론 딥러닝에도 사용할 수 있습니다.

벤치마크 환경

PyTorch benchmark software stack

NGC’s PyTorch 20.10 docker image with Ubuntu 18.04, PyTorch 1.7.0a0+7036e91, CUDA 11.1.0, cuDNN 8.0.4, NVIDIA driver 460.27.04, and NVIDIA’s optimized model implementations.

Pre-ampere GPUs were benchmarked using NGC’s PyTorch 20.01 docker image with Ubuntu 18.04, PyTorch 1.4.0a0+a5b4d78, CUDA 10.2.89, cuDNN 7.6.5, NVIDIA driver 440.33, and NVIDIA’s optimized model implementations.

TensorFlow benchmark software stack

The RTX A6000 was benchmarked using NGC’s TensorFlow 20.10 docker image using Ubuntu 18.04, TensorFlow 1.15.4, CUDA 11.1.0, cuDNN 8.0.4, NVIDIA driver 455.32, and Google’s official model implementations.

The Tesla A100s, RTX 3090, and RTX 3080 were benchmarked using Ubuntu 18.04, TensorFlow 1.15.4, CUDA 11.1.0, cuDNN 8.0.4, NVIDIA driver 455.45.01, and Google’s official model implementations.

Pre-ampere GPUs were benchmarked using TensorFlow 1.15.3, CUDA 10.0, cuDNN 7.6.5, NVIDIA driver 440.33, and Google’s official model implementations.

벤치마크 결과

PyTorch CNN 모델 트레이닝 벤치마크 결과입니다.

PyTorch 언어모델 트레이닝 벤치마크 결과입니다.

TensorFlow CNN 모델 트레이닝 벤치마크 결과입니다.

새로 GPU 시스템을 구매하려는 분들에게 이 벤치마크 결과가 도움이 되시기를 바랍니다. 이 벤치마크는 1 GPU 벤치마크 결과이므로 멀티 GPU를 사용하실 분들은 위의 1 번 벤치마크 결과와 함께 검토하시는 것이 좋을 것 같습니다.
딥러닝용 GPU와 GPU 시스템에 대해 스타셀로 문의 주시면 자세한 내용들에 대하여 상담 받으실 수 있습니다.