PyTorch-CUDA 환경에서 슬라이딩 윈도우 어텐션 고속화하기
분산 환경에서 Swin Transformer 계열 모델을 훈련할 때 GPU 활용률이 40%에 머무르고, NCCL 통신 오버헤드가 전방 계산 시간을 역전시키는 경험을 해본 적이 있는가? 동일 아키텍처를 사용하면서도 타 팀은 8개 GPU에서 95% 이상의 지속적인 활용률을 달성하며 두 배의 처리량을 내고 있다면, 문제는 모델 코드가 아닌 실행 환경의 차이에 있을 가능성이 높다.
이 글에서 ...
6월 30일 23:49에 게시됨
DeepLearningFrameworks 다중 GPU 학습 실전 가이드
DeepLearningFrameworks 다중 GPU 학습 실전 가이드
이 프로젝트는 다양한 딥러닝 프레임워크에서 신경망 실행 방법을 보여주는 오픈소스 프로젝트로, 다중 GPU 학습 예제를 제공하여 분산 학습 기술을 빠르게 습득할 수 있도록 지원합니다. 본 가이드는 기본 개념부터 고급 기법까지 다중 GPU 학습의 핵심 내용을 포괄적으로 다룹니다.
다중 GPU 학습의 핵심 이점
신경망 ...
6월 4일 03:00에 게시됨