nvitop을 활용한 실시간 NVIDIA GPU 리소스 및 프로세스 모니터링

개요

nvitop은 NVIDIA 장치와 GPU 프로세스를 추적하기 위한 대화형 모니터링 도구입니다. 기존의 nvidia-smi보다 더 시각적이고 풍부한 정보를 제공하며, 실시간으로 업데이트되는 인터페이스를 통해 하드웨어 상태와 실행 중인 프로세스의 상세 정보를 파악할 수 있습니다.

이 도구는 트리 뷰(Tree-view), 환경 변수 확인, 프로세스 필터링 및 지표 모니터링 등 강력한 기능을 포함하고 있습니다. 또한 딥러닝 연구자를 위한 장치 선택 도구인 nvisel을 포함하며, 개발자가 직접 모니터링 툴을 구축할 수 있도록 간결한 API도 지원합니다.

설치 방법

nvitop은 순수 Python으로 작성되어 pip를 통해 간편하게 설치할 수 있습니다. 최신 버전을 설치하려면 다음 명령어를 사용합니다.

pip install --upgrade nvitop

Windows와 Linux 환경 모두에서 작동하며, psutil 라이브러리를 사용하여 호스트 프로세스 정보를 효율적으로 수집합니다.

주요 사용법

1. 일회성 상태 조회 (Snapshot Mode)

nvidia-smi와 유사하게 현재 상태를 한 번만 출력하고 종료하려면 -1 플래그를 사용합니다. 이 방식은 리소스 소모가 적고 빠르게 결과를 확인할 때 유용합니다.

# 모든 GPU 상태 출력
nvitop -1

# 특정 인덱스의 GPU만 확인 (예: 0번과 2번)
nvitop -1 -o 0 2

# 연산 전용 프로세스(Compute Context)만 필터링하여 출력
nvitop -1 -c

# CUDA_VISIBLE_DEVICES 환경 변수에 지정된 장치만 표시
nvitop -1 -ov

2. 대화형 모니터링 모드 (Interactive Monitor)

실시간으로 리소스를 감시하려면 모니터링 모드로 실행합니다. 터미널 크기에 맞춰 화면 구성을 자동으로 최적화할 수 있습니다.

# 기본 모니터링 모드 실행
nvitop

# 터미널 크기에 따라 레이아웃 자동 조절 (단축키: a)
nvitop -m auto

# 전체 정보 표시 모드 (단축키: f)
nvitop -m full

# 요약 정보 표시 모드 (단축키: c)
nvitop -m compact

3. 시각적 옵션 및 환경 설정

사용 중인 터미널의 특성에 따라 출력 스타일을 변경할 수 있습니다.

# 유니코드를 지원하지 않는 터미널을 위한 ASCII 모드
nvitop -U

# 밝은 색상 테마의 터미널 최적화
nvitop --light

# 256색을 지원하는 터미널에서 화려한 스펙트럼 차트 표시
nvitop --colorful

주요 기능 및 장점

  • 강력한 프로세스 관리: t 키를 눌러 프로세스를 트리 구조로 보거나, k 또는 T 키를 사용하여 특정 프로세스에 신호를 보내 종료할 수 있습니다.
  • 상세 지표 제공: 바 차트와 히스토리 그래프를 통해 시간에 따른 리소스 변화를 시각적으로 확인할 수 있습니다.
  • 사용자 기반 필터링: 일반 사용자의 경우 다른 사용자의 프로세스를 흐리게 표시하여 본인의 작업에 집중할 수 있게 도와주며, 관리자는 sudo nvitop을 통해 권한이 필요한 프로세스 관리가 가능합니다.
  • 높은 이식성: 별도의 외부 바이너리 호출 없이 Python 라이브러리만으로 호스트 정보를 가져오므로 성능 저하가 적고 설치가 간편합니다.
  • 마우스 지원: 터미널 환경임에도 마우스 클릭을 통한 조작이 가능하여 직관적인 사용이 가능합니다.

요약

nvitop은 단순한 모니터링을 넘어 GPU 자원을 효율적으로 관리하고자 하는 데이터 사이언티스트와 시스템 관리자에게 필수적인 도구입니다. 더 자세한 API 활용법이나 고급 설정은 공식 문서인 nvitop Documentation에서 확인할 수 있습니다.

태그: nvitop NVIDIA GPU-Monitoring CUDA python

11월 11일 21:58에 게시됨