PyTorch에서 다중 GPU 훈련 및 그래디언트 누적을 통한 대용량 배치 처리
소개
딥 뉴럴 네트워크(DNN)를 훈련할 때 중요한 하이퍼파라미터 중 하나는 배치 크기입니다. 일반적으로 배치 크기가 너무 크면 네트워크가 과적합될 수 있지만, 너무 작으면 수렴 속도가 느려집니다.
고해상도 이미지나 메모리를 많이 차지하는 다른 유형의 데이터를 처리할 때, 대부분의 대규모 DNN 모델 훈련이 GPU에서 이루어진다고 가정하면, 사용 가능한 GPU 메모 ...
7월 24일 17:05에 게시됨