딥러닝 모델 개발 및 고성능 컴퓨팅(HPC) 환경 구축에서 CUDA Toolkit 설치는 필수적인 과정입니다. 하지만 리눅스 배포판의 다양성과 하드웨어 종속성으로 인해 설치 과정에서 여러 문제가 발생하곤 합니다. 본 가이드에서는 CUDA Toolkit 설치 시 마주하게 되는 주요 문제점들을 분석하고 실질적인 해결 방안을 제시합니다.

1. 다운로드 지연 및 네트워크 오류

NVIDIA 공식 서버에서 설치 파일을 직접 다운로드할 때 속도가 지나치게 느리거나 연결이 끊기는 현상이 발생할 수 있습니다.

해결 방법

• 다운로드 도구 활용: wget의 재개 기능을 사용하거나 curl을 통해 안정적으로 파일을 수신합니다.
• 국내 미러 사이트 이용: 대용량 파일의 경우 주요 대학이나 기업에서 운영하는 오픈소스 미러 사이트를 활용하면 속도를 높일 수 있습니다.

# 다운로드 중단 시 이어서 받기 예시
wget --continue https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run

2. 컴파일러 의존성 및 권한 문제

CUDA 툴킷은 소스 코드를 컴파일하기 위해 특정 버전의 GCC나 빌드 도구를 요구합니다. 필수 패키지가 누락된 경우 설치 프로그램이 비정상 종료될 수 있습니다.

해결 방법

• 기본 빌드 도구 설치: build-essential 패키지를 설치하여 gcc, g++, make 등을 사전에 준비합니다.
• 실행 권한 부여: 다운로드한 .run 파일에 실행 권한을 부여하고 sudo 권한으로 실행해야 합니다.

# 시스템 업데이트 및 필수 패키지 구성
sudo apt update && sudo apt install -y build-essential dkms

# 설치 프로그램 실행 권한 부여 및 특정 경로 지정 설치
chmod +x cuda_12.1.0_linux.run
sudo ./cuda_12.1.0_linux.run --silent --toolkit --toolkitpath=/opt/cuda-12.1

3. 커널 드라이버와의 호환성 충돌

이미 설치된 NVIDIA 드라이버와 CUDA Toolkit에 포함된 드라이버 버전이 충돌하거나, 커널 버전이 맞지 않아 모듈 로드에 실패하는 경우가 빈번합니다.

해결 방법

• 기존 드라이버 정리: 설치 전 충돌을 방지하기 위해 기존에 설치된 NVIDIA 관련 패키지를 완전히 제거하는 것이 권장됩니다.
• 드라이버 전용 PPA 활용: 우분투 사용자라면 공식 PPA를 통해 드라이버를 먼저 설치한 후, CUDA 설치 시 '드라이버 설치 제외' 옵션을 선택하는 것이 가장 안정적입니다.

# 기존 드라이버 완전 제거
sudo apt-get remove --purge '^nvidia-.*'
sudo apt-get autoremove

# 드라이버 전용 저장소 추가 및 특정 버전 설치
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
sudo apt install nvidia-driver-530

4. 환경 변수 설정 및 다중 버전 관리

설치가 완료되었음에도 nvcc 명령어를 찾을 수 없거나 라이브러리 참조 오류가 발생하는 것은 환경 변수가 올바르게 설정되지 않았기 때문입니다.

해결 방법

• 쉘 프로필 업데이트: ~/.bashrc 또는 ~/.zshrc 하단에 경로를 추가합니다.
• 심볼릭 링크 활용: 여러 버전의 CUDA를 사용하는 경우 /usr/local/cuda 링크를 변경하여 버전을 전환합니다.

# 환경 변수 등록 (Bash 기준)
echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

# update-alternatives를 이용한 관리
sudo update-alternatives --install /usr/local/cuda cuda /usr/local/cuda-11.8 10
sudo update-alternatives --install /usr/local/cuda cuda /usr/local/cuda-12.1 20
sudo update-alternatives --config cuda

5. 설치 무결성 확인 및 하드웨어 테스트

설치 후 툴킷이 GPU와 정상적으로 통신하는지 검증하는 단계가 필요합니다.

해결 방법

• 디바이스 쿼리 실행: CUDA Samples에 포함된 deviceQuery를 컴파일하여 실행해 봅니다.
• 버전 체크: 컴파일러 버전과 드라이버 상태를 각각 확인합니다.

# CUDA 컴파일러 동작 확인
nvcc --version

# GPU 장치 인식 상태 확인
nvidia-smi

# 샘플 코드를 통한 하드웨어 연결 테스트
cd /usr/local/cuda/extras/demo_suite/
./deviceQuery

위의 절차를 통해 리눅스 시스템에서의 CUDA 환경 구성을 안정화할 수 있으며, 특히 드라이버 버전과 툴킷 버전 간의 호환성 차트를 항상 확인하는 습관이 중요합니다.