설치
- Ollama 다운로드 및 설치
Ollama 공식 웹사이트에서 최신 버전을 다운로드하여 설치합니다.
- 설치 확인
ollama --version
- 경로 변경 (선택 사항)
Ollama는 기본적으로 C 드라이브에 설치되며, 다운로드된 모델도 C 드라이브에 저장됩니다. 이를 변경하여 소프트웨어와 모델을 다른 위치에 저장할 수 있습니다. 새로운 경로 예시: D:\Programs\Ollama\models.
설치 폴더와 모델 저장 폴더를 찾아 함께 새 위치로 이동합니다.
기본 설치 경로:
C:\Users\%사용자명%\AppData\Local\Programs\Ollama
모델이 설치된 경우 기본 모델 경로:
C:\Users\%사용자명%\.ollama\models
- 환경 변수 설정 (선택 사항)
'내 컴퓨터' 폴더에서 마우스 오른쪽 버튼을 클릭하고 '속성' > '고급 시스템 설정'으로 이동하여 사용자 변수와 시스템 변수를 수정합니다.
사용자 변수의 Path에서 ollama 소프트웨어 위치를 새 경로로 변경합니다.
위치를 변경한 경우, 환경 변수에서 이전 경로를 삭제할 수 있습니다. 이전 위치의 Ollama와 모델도 삭제할 수 있습니다.
참고: 원래 경로를 삭제하면 자동 시작이 불가능하며, 기존 바로가기 경로와 아이콘을 수정해야 합니다.
사용자 변수에 추가:
OLLAMA_HOST = 0.0.0.0
OLLMA_ORIGINS = *
시스템 변수에 추가:
OLLAMA_MODELS = D:\Programs\Ollama\models
그런 다음 컴퓨터를 재부팅합니다.
Ollama 환경 변수 목록:
- OLLAMA_HOST: 이 변수는 Ollama가 수신 대기할 네트워크 인터페이스를 정의합니다. 0.0.0.0으로 설정하면 모든 네트워크 인터페이스에서 접속을 허용하여 외부 네트워크 접근이 가능합니다. 내부 네트워크의 다른 기기에서 Ollama 서비스에 접속해야 할 경우 중요합니다.
- Windows (PowerShell):
$env:OLLAMA_HOST="0.0.0.0:11434" - Linux/macOS:
export OLLAMA_HOST="0.0.0.0:11434" - 방화벽에서 11434 포트(또는 사용자 정의 포트)를 허용해야 합니다!
-
OLLAMA_MODELS: 이 변수는 모델 이미지의 저장 경로를 지정합니다. E:\ollama\models와 같이 새 경로를 설정하면 C 드라이브 공간 부족 문제를 방지할 수 있습니다.
-
OLLAMA_KEEP_ALIVE: 이 변수는 모델이 메모리에 유지되는 시간을 제어합니다. 24h로 설정하면 24간 모델이 메모리에 유지되어 접속 속도가 향상됩니다.
-
OLLAMA_PORT: 이 변수를 통해 Ollama의 기본 포트를 변경할 수 있습니다. 예를 들어 8080으로 설정하면 기본 포트인 11434에서 8080으로 변경됩니다.
-
OLLAMA_NUM_PARALLEL: 이 변수는 Ollama가 동시에 처리할 수 있는 요청 수를 결정합니다. 4로 설정하면 최대 4개의 동시 요청을 처리할 수 있습니다.
-
OLLAMA_MAX_LOADED_MODELS: 이 변수는 Ollama가 동시에 로드할 수 있는 모델 수를 제한합니다. 4로 설정하면 시스템 자원이 합리적으로 배분됩니다.
-
OLLAMA_ORIGINS: 허용된 소스 목록으로, * 또는 쉼표로 구분된 목록을 사용할 수 있습니다.
-
프록시 설정 (내부망 환경): 외부 네트워크에 접속하기에 프록시가 필요한 경우, HTTP/HTTPS 프록시를 반드시 설정해야 합니다. 그렇지 않으면 Ollama가 모델을 다운로드하지 못할 수 있습니다.
Windows (PowerShell):
$env:HTTP_PROXY="http://프록시서버:포트"
$env:HTTPS_PROXY="http://프록시서버:포트"
Linux/macOS:
export HTTP_PROXY="http://프록시서버:포트"
export HTTPS_PROXY="http://프록시서버:포트"
사용 방법
- Ollama 시작
수정된 바로가기를 더블클릭하여 시작하거나, Ollama 폴더에서 ollama app.exe를 더블클릭하여 시작합니다.
성공적으로 시작되면, ollama는 로컬 11434 포트에서 API 서비스를 실행합니다.
- 모델 다운로드
Ollama 모델 마켓플레이스에서 모델 다운로드 명령어를 확인합니다.
ollama pull llama3:8b
- 로컬에서 대규모 모델 실행
위에서 다운로드한 모델을 로컬에서 실행할 수 있습니다:
ollama run llama3:8b
간단하게 모델을 실행하고 명령어 창을 통해 대화할 수 있습니다.
시각적 인터페이스나 RAG 강화가 필요한 경우, AnythingLLM 또는 다른 소프트웨어/플러그인을 사용할 수 있습니다.
- Ollama 명령어 및 기능
ollama serve # ollama 서비스 시작
ollama create # 모델 파일로 모델 생성
ollama show # 모델 정보 표시
ollama run # 모델 실행
ollama pull # 레지스트리에서 모델 다운로드
ollama push # 모델을 레지스트리에 업로드
ollama list # 모델 목록 표시
ollama cp # 모델 복사
ollama rm # 모델 삭제
ollama help # 명령어 도움말 정보
ollama ps # 실행 중인 모델 및 사용량 확인
ollama run model_name --verbose # 모델 실행 중 토큰 데이터 제공(모델 속도 지표)