CPT(Continual Pre-Training) 기초부터 시작하기: 복잡한 트레이닝 프레임워크 탈출하기
비즈니스 문제를 해결하기 위해 도메인 지식을 대규모 언어 모델에 주입해야 하는 상황이 발생했습니다. 이전에는 간단한 파인튜닝(GLM 프레임워크에서 Lora를 적용, 데이터 규모도 작음)만 수행했지만, 이제는 특정 산업 분야의 전체 관련 데이터를 수집하여 훈련해야 합니다. 규모 면에서 이전에 반수동으로 구축한 파인튜닝 데이터셋보다 훨씬 커졌고, 조사 결과 프리트 ...
7월 11일 01:42에 게시됨
Ollama 로컬 대형 언어 모델 배포 실무: 핵심 명령어와 문제 해결
실행 환경 정보
항목상세 정보
운영체제Windows 11 64비트
GPUNVIDIA GeForce RTX 5070 Ti 노트북 (12GB VRAM)
드라이버 버전591.44 (CUDA 13.1)
Ollama 버전0.20.0
실제 사용 가능 VRAM~11.9 GB (시스템 예약 약 300MB)
모델 관리 명령어
다운로드된 모델 확인
ollama list
실행 중인 모델 모니터링
ollama ps
출력 예시:
모델명 ...
6월 14일 17:22에 게시됨