Ollama의 환경 변수는 서비스 주소, 모델 경로, GPU/메모리 설정, 동시성 및 로그 관리 등을 구성하는 데 사용됩니다. 아래는 v0.1.30 이상 버전에서 지원되는 환경 변수와 그 용도에 대한 상세 정보입니다.
1. 필수 기본 설정
| 변수 이름 |
기본값 |
설명 |
예시 |
| OLLAMA_SERVER |
127.0.0.1:11434 |
서비스가 듣는 IP 주소와 포트를 지정합니다. 네트워크 접근을 허용하려면 0.0.0.0:11434로 설정하세요. |
0.0.0.0:8080 |
| OLLAMA_STORAGE |
시스템 기본 경로 |
사용자 정의 모델 저장 위치를 설정하여 디스크 공간 부족 문제를 해결할 수 있습니다. |
D:\ollama-models |
| OLLAMA_RETENTION |
5m |
메모리에서 모델을 유지하는 시간을 설정합니다. 자주 사용하지 않는 모델을 언로드하는 것을 방지합니다. (-1: 영구) |
30m / 1h / -1 |
| OLLAMA_LOG_LEVEL |
0 |
디버그 로깅을 활성화합니다. (1=DEBUG, ≥2=TRACE) |
1 |
| OLLAMA_CORS |
로컬만 허용 |
CORS 요청을 허용할 도메인 목록을 쉼표로 구분하여 지정합니다. |
https://app.com,https://dev.app.com |
2. 성능 최적화 (GPU/메모리)
| 변수 이름 |
기본값 |
설명 |
예시 |
| OLLAMA_CONCURRENCY |
1 |
처리 가능한 최대 동시 요청 수를 제어하여 처리량을 개선합니다. |
4 (8GB 이상의 VRAM) |
| OLLAMA_MAX_MODELS |
GPU 수 × 3 |
단일 GPU에서 동시에 로드할 수 있는 최대 모델 수를 설정합니다. |
2 |
| OLLAMA_QUEUE_LIMIT |
512 |
요청 대기열의 최대 크기를 설정합니다. 초과 시 503 에러가 발생합니다. |
1024 |
| OLLAMA_GPU_RESERVE |
0 |
OOM을 방지하기 위해 사전에 예약할 GPU 메모리 양 (바이트 단위)을 지정합니다. |
2147483648 (2GB) |
| OLLAMA_ATTENTION_OPT |
true |
긴 텍스트 처리 속도를 높이는 Flash Attention 기능을 활성화하거나 비활성화합니다. |
false |
| OLLAMA_CACHE_FORMAT |
f16 |
KV 캐시의 양자화 형식을 선택합니다. (f16, q4_0 등) |
q4_0 (메모리 절약) |
| OLLAMA_DISTRIBUTE |
false |
여러 GPU 간 모델 분산 스케줄링을 활성화합니다. |
true |
| CUDA_VISIBLE_DEVICES |
모든 GPU |
NVIDIA GPU 중 사용할 장치를 지정합니다. (인덱스 기반) |
0 (첫 번째 GPU만 사용) |
3. 모델 및 런타임 관리
| 변수 이름 |
기본값 |
설명 |
예시 |
| OLLAMA_KEEP_BLOBS |
false |
서비스 시작 시 이전 모델 blob을 삭제하지 않습니다. |
true |
| OLLAMA_ENGINE_LIB |
자동 |
LLM 추론 라이브러리의 경로를 명시적으로 지정합니다. |
/path/to/libllama.so |
| OLLAMA_RUNNERS_PATH |
내장 |
사용자 정의 runners 디렉토리를 설정하여 추론 엔진을 교체할 수 있습니다. |
/path/to/runners |
| OLLAMA_TEMP_FOLDER |
시스템 임시 디렉토리 |
큰 모델을 압축 해제할 때 사용할 임시 파일 경로를 지정합니다. |
/mnt/ssd/tmp |
4. 기타 유용한 변수
| 변수 이름 |
기본값 |
설명 |
예시 |
| OLLAMA_CONTEXT_SIZE |
4096 |
명시적으로 지정되지 않은 경우 적용되는 기본 컨텍스트 윈도우 크기를 설정합니다. |
8192 |
| OLLAMA_NO_HISTORY |
false |
대화 기록을 저장하지 않도록 설정하여 프라이버시를 보호합니다. |
true |
5. 플랫폼별 설정 방법
Linux (systemd 서비스)
sudo systemctl edit ollama.service
# 추가:
[Service]
Environment="OLLAMA_SERVER=0.0.0.0:11434"
Environment="OLLAMA_STORAGE=/data/ollama"
# 저장 후:
sudo systemctl daemon-reload
sudo systemctl restart ollama
macOS (애플리케이션 모드)
launchctl setenv OLLAMA_SERVER 0.0.0.0:11434
# Ollama 앱 재시작 필요
Windows (시스템 환경 변수)
- '컴퓨터' → '속성' → '고급 시스템 설정' → '환경 변수'
- 새 시스템 변수 추가:
OLLAMA_STORAGE → D:\ollama-models
- Ollama 서비스 재시작
6. 모든 변수 확인
다음 명령어를 통해 현재 버전에서 지원하는 모든 환경 변수와 설명을 확인할 수 있습니다.
ollama serve --help