DeepSpeed Zero 기반 분산 학습 아키텍처
대형 언어 모델을 효율적으로 학습시키기 위해서는 단일 GPU의 메모리 한계를 넘는 분할 저장 기법이 필수적입니다. ChatGLM3 프로젝트는 내부 파이프라인에 DeepSpeed Zero 프레임워크를 표준으로 적용하며, finetune_demo/configs/ 디렉토리에서 검증된 설정값을 노출하고 있습니다. 이는 하이퍼파라미터 검색 비용을 줄이고 안정적인 병렬 학습 환경을 구축하는 데 중점을 둡니다.
Zero Stage 2: 파라미터 및 그래디언트 파티셔닝
Stage 2 환경에서는 옵티마이저 상태를 제외하고 모델 가중치와 연산 과정에서 발생하는 그래디언트를 모든_RANK 간에 균등하게 분배합니다. 이를 통해 VRAM 사용량을 대폭 절감하면서도 통신 오버헤드를 균형 있게 관리할 수 있습니다.
- 정밀도 제어:
fp16.enable=true또는bf16.enable=true를 활성화하여 숫자 표현 범위를 확장합니다. - 통계 업데이트:
overlap_comm=true설정을 통해 AllReduce 연산과 계산 작업을 비동기로 병렬 실행합니다. - 그래디언트 매칭:
contiguous_gradients=true옵션을 사용해 메모리 할당 단편화를 방지하고 내장 연산자의 처리 속도를 높입니다.
Zero Stage 3: 완전 분할 최적화
Stage 3은 옵티마이저 상태, 그래디언트, 파라미터 세 가지 요소를 모두 파티션합니다. 이 경우 모델 체크포인트 저장 시 16비트 데이터가 임시로 전역 메모리에 집계되어 disk에 기록되며, 복구 과정에서는 다시 분할됩니다. 이러한 설계는 극한의 메모리 효율을 가능하게 합니다.
- 서브그룹 토폴로지:
nodelist및subgroup_size를 조정하여 동일 라우터 내에서 통신 범위를 국한시켜 레턴시를 최소화합니다. - 지연 콜렉션: 저장 프로세스에서 불필요한 동기화 대기 시간을 제거하도록 백엔드가 자동으로 동작합니다.
실제 배포 및 런타임 운영
1. 의존성 초기화
학습 호환성을 확보하기 위해 패키지 매니저를 최신 상태로 유지한 후 요구사항 파일을 적용합니다.
#!/bin/bash
apt-get update -qq && apt-get install -y libomp-dev
python -m pip install --no-cache-dir -r requirements.txt
2. 단일 노드 다중 가속도 병렬 실행
PyTorch 엔진은 프로세스 간 통신(IPC)을 담당하는 환경 변수를 사전에 선언해야 안정적으로 동작합니다. 아래 스크립트는 가용 GPU 개수를 동적으로 감지하여 배치 크기를 최적화하는 예시입니다.
#!/usr/bin/env bash
export NCCL_DEBUG=INFO
export TORCH_DISTRIBUTED_DEBUG=DETAIL
export HYBRID_SHARDING_SIZE=$(python -c "import os; print(os.cpu_count())")
torchrun \
--standby_timeout 300 \
--nnodes 1 \
--nproc_per_node $(nvidia-smi --query-gpu=name --format=csv,noheader | wc -l) \
scripts/finetune_hf.py \
--train_data_dir datasets/AdvertiseGen \
--init_model_repo THUDM/chatglm3-6b \
--hyper_params configs/lora_config.yaml
3. 중단 복구 메커니즘
통신 장애나 하드웨어 점검으로 인한 학습 중단 상황을 고려해 체크포인트 관리 로직이 구현되어 있습니다. 런타임은 지정한 폴더 내 최신 global_step_XXXXX 디렉토리를 자동으로 스캔하여 옵티마이저 상태와 모델 가중치를 복원합니다. 명시적 인덱스를 전달하면 특정 시점의 스냅샷에서 정확히 이어받아 학습을 재개할 수 있습니다.
성능 튜닝 및 리소스 관리
서버 사양에 따라 권장되는 배치 전략은 달라집니다. 일반적으로 SFT(full) 작업은 저성능 쿼드로 시작해 상위 클래스로 스케일업하며, P-TuningV2 방식은 단일 RTX 3090/4090 단위에서도 18GB 전후의 여유 공간을 확보합니다. LoRA 기반 미세 조정은 14GB 미만의 에дж 디바이스나 클라우드 instance에서도 구동이 가능합니다.
네트워크 계층 파라미터 조정
allgather_bucket_size: 524288000- 패킷 조립 크기를 늘려 TCP/IP 헤더 오버헤드를 낮춥니다.reduce_bucket_size: 524288000- 집약 연산 시 메시지 큐의 부하를 분산시킵니다.
안정성担保 설정
gradient_accumulation_steps값을 실제 VRAM 한계에 맞춰 동적으로 계산합니다.train_micro_batch_size_per_gpu는 시스템 모니터링 도구와 연계해 과부하 발생 시 즉시 하향 조정됩니다.
주요 오류 코드 및 해결 방안
- Out Of Memory(OOM):
micro_batch_size를 절반으로 축소하거나paged_adamw옵티마이저로 전환합니다. - Loss 발산(NaN):
clip_grad_norm임계값을 1.0 미만으로 고정하고zero_optimization.contiguous_gradients를 반드시true로 설정합니다. - Throughput 정체:
overlap_comm옵션을 해제한 후checkpoint_to_disk기능을 켜면서 디스크 I/O 바운딩 여부를 확인합니다.