DeepSeek-R1-Distill-Qwen-7B 모델 개요

DeepSeek-R1-Distill-Qwen-7B는 수학적 추론, 코드 생성, 그리고 논리적 문제 해결에 특화된 고효율 언어 모델입니다. Qwen2.5-Math-7B를 기반으로 지식 증류(Distillation) 기법이 적용되어, 7B라는 비교적 작은 파라미터 규모에서도 대형 모델에 버금가는 추론 성능을 발휘합니다. 이를 통해 고사양 하드웨어 없이도 로컬 환경에서 강력한 AI 추론 기능을 경험할 수 있습니다.

Ollama 도입 배경 및 시스템 요구 사항

Ollama를 사용하는 이유

대규모 언어 모델(LLM)을 로컬에서 실행하려면 복잡한 의존성 관리와 환경 설정이 필요합니다. Ollama는 이러한 번거로움을 해소해 주는 전용 런타임 도구로, 모델 다운로드부터 메모리 할당, 추론 최적화까지 모든 백엔드 작업을 자동으로 처리합니다. 개발자는 오직 모델의 활용과 프롬프트 엔지니어링에만 집중하면 됩니다.

하드웨어 권장 사양

해당 모델을 원활하게 구동하기 위한 시스템 요구 사항은 다음과 같습니다.

• 최소 사양: 16GB RAM, 20GB 여유 저장 공간, Windows 10/11 또는 macOS 10.15+, Ubuntu 18.04+
• 권장 사양: 32GB 이상 RAM, NVIDIA GPU (CUDA 지원), 50GB 이상의 SSD 저장 공간

Ollama 설치 및 환경 검증

운영체제별 설치 방법

사용 중인 OS에 맞는 명령어를 통해 Ollama를 손쉽게 설치할 수 있습니다.

macOS (Homebrew 활용)

brew install ollama

Linux (Ubuntu/Debian 계열)

curl -fsSL https://ollama.com/install.sh | sh

Windows

공식 웹사이트에서 Windows용 설치 파일을 다운로드하여 실행하면 백그라운드 서비스로 자동 등록됩니다.

설치 확인

터미널에서 다음 명령어를 입력하여 정상 설치 여부를 확인합니다.

ollama --version

모델 다운로드 및 인터랙티브 실행

모델 가중치 가져오기

아래 명령어 한 줄로 DeepSeek의 7B 증류 모델을 로컬 스토리지로 불러올 수 있습니다. 네트워크 환경에 따라 약 14GB 크기의 파일이 다운로드됩니다.

ollama pull deepseek-r1-distill-qwen:7b

대화형 인터페이스 진입

다운로드가 완료되면 즉시 CLI 기반의 챗봇 환경을 실행할 수 있습니다.

ollama run deepseek-r1-distill-qwen:7b

추론 성능 테스트 및 활용 예시

수학 연산 및 방정식 풀이

복잡한 대수학 문제도 단계별로 풀이하는 능력을 보여줍니다.

User: 3x - 7 = 14 방정식의 해를 구하고 과정을 설명해줘.

Model: 
1. 양변에 7을 더합니다: 3x = 14 + 7 -> 3x = 21
2. 양변을 3으로 나눕니다: x = 21 / 3
3. 최종 해: x = 7

코드 생성 (Python)

기존의 단순 반복문 대신, 메모이제이션을 활용한 재귀 방식의 피보나치 수열 코드를 생성하도록 요청해 보겠습니다.

User: Python으로 메모이제이션을 적용한 피보나치 수열 함수를 작성해줘.

Model:
def get_fibonacci(num, cache={}):
    if num in cache:
        return cache[num]
    if num == 0:
        return 0
    elif num == 1:
        return 1
    
    cache[num] = get_fibonacci(num - 1, cache) + get_fibonacci(num - 2, cache)
    return cache[num]

# 테스트
print(get_fibonacci(15))  # 610 출력

논리적 추론

전제 조건을 기반으로 한 연역적 추론 능력도 탁월합니다.

User: 모든 개발자는 키보드를 가진다. 철수는 개발자다. 민수는 키보드를 가진다. 철수와 민수 중 누가 개발자라고 확신할 수 있는가?

Model: 
전제 1: 모든 개발자는 키보드를 가진다. (개발자 -> 키보드 소유)
전제 2: 철수는 개발자다.
전제 3: 민수는 키보드를 가진다.

철수는 전제 2에 의해 개발자이며, 전제 1에 따라 키보드를 가집니다. 
민수는 키보드를 가지지만, 키보드를 가진다고 해서 반드시 개발자인 것은 아닙니다(역은 성립하지 않음). 
따라서 철수가 개발자라고 확신할 수 있습니다.

고급 활용: API 및 자동화 스크립트

REST API 엔드포인트 호출

백그라운드에서 Ollama 서버를 구동한 뒤, HTTP 요청을 통해 외부 애플리케이션과 연동할 수 있습니다.

# 서버 데몬 실행
ollama serve

# 별도의 터미널에서 cURL 요청
curl -X POST http://localhost:11434/api/generate -H "Content-Type: application/json" -d '{
  "model": "deepseek-r1-distill-qwen:7b",
  "prompt": "양자 얽힘 현상을 초등학생도 이해할 수 있게 비유해서 설명해줘.",
  "stream": false,
  "options": {
    "temperature": 0.8
  }
}'

배치 프로세싱을 위한 Python 스크립트

여러 개의 프롬프트를 순차적으로 처리해야 할 경우, 쉘 스크립트 대신 Python의 requests 라이브러리를 활용하는 것이 유지보수에 유리합니다.

import requests
import json

OLLAMA_URL = "http://localhost:11434/api/generate"
TARGET_MODEL = "deepseek-r1-distill-qwen:7b"

prompts = [
    "TCP와 UDP의 핵심 차이점을 표로 정리해줘.",
    "Docker 컨테이너와 가상 머신(VM)의 아키텍처 차이를 설명해줘."
]

for idx, query in enumerate(prompts, 1):
    payload = {
        "model": TARGET_MODEL,
        "prompt": query,
        "stream": False
    }
    response = requests.post(OLLAMA_URL, json=payload)
    result = response.json().get("response", "오류 발생")
    print(f"--- 질의 {idx} 결과 ---\n{result}\n")

트러블슈팅 및 최적화

메모리 부족(OOM) 현상 해결

RAM 용량이 부족하여 프로세스가 강제 종료될 경우, 동시 처리 수를 제한하거나 GPU 레이어 오프로딩을 조절하여 메모리 사용량을 줄일 수 있습니다.

# 동시 요청 수 제한
OLLAMA_NUM_PARALLEL=1 ollama run deepseek-r1-distill-qwen:7b

# GPU 레이어 수동 제한 (VRAM이 부족한 경우)
OLLAMA_GPU_LAYERS=15 ollama run deepseek-r1-distill-qwen:7b

추론 속도 저하 및 다운로드 오류

• 속도 최적화: 불필요한 백그라운드 프로세스를 종료하여 시스템 리소스를 확보하고, 가능한 경우 CUDA 호환 GPU를 사용하도록 환경 변수를 설정하세요.
• 네트워크 오류: 다운로드가 중단되거나 해시 불일치 오류가 발생하면 기존 캐시를 삭제하고 다시 시도합니다.

  ollama rm deepseek-r1-distill-qwen:7b
  ollama pull deepseek-r1-distill-qwen:7b