3.5억 파라미터 다국어 지원 오픈소스 모델, Ollama로 로컬에서 실행하기
Ollama를 사용한 granite-4.0-h-350m 모델의 로컬 배포 및 활용
고성능 GPU 없이도 자신의 컴퓨터에서 다국어 AI 모델을 구동하고 싶다면? 데이터 유출 걱정 없이 프라이버시를 유지하며 인공지능을 활용할 수 있는 방법이 있다. 바로 granite-4.0-h-350m와 Ollama 조합이다. 이 조합을 통해 단 1.4GB 정도의 용량으로 12개 언어를 지원하는 경량 대규모 언어 모델(LLM)을 ...
6월 29일 04:22에 게시됨
Cherry Studio로 시작하는 AI 어시스턴트 설정 가이드
Cherry Studio는 다양한 대형 언어 모델(LLM)을 지원하는 데스크톱 클라이언트입니다. 복잡한 설정 없이도 쉽게 AI 기능을 활용할 수 있어 초보자도 빠르게 시작할 수 있습니다.
Cherry Studio의 주요 특징
이 도구는 사용자가 별도의 기술적 지식 없이도 여러 AI 서비스를 간편하게 이용할 수 있도록 설계되었습니다. 다음과 같은 다양한 AI 제공업체와 호환됩니다:
글로 ...
6월 28일 01:32에 게시됨
Ollama로 로컬에서 파인튜닝 모델 실행하기: Open WebUI 실전 가이드
모델 파일부터 대화 인터페이스까지: Ollama와 Open WebUI로 로컬 파인튜닝 모델 배포하기
로컬 대模型을 구축하려는 개발자라면 Ollama와 Open WebUI라는 두 도구를 빼놓을 수 없다. Ollama는 백그라운드에서 모델을 효율적으로 로드하고 실행하는 역할을 담당하고, Open WebUI는 ChatGPT처럼 사용할 수 있는 깔끔하고 현대적인 웹 인터페이스를 제공한다. 하지만 Hugging ...
6월 21일 22:39에 게시됨
Ollama 로컬 대형 언어 모델 배포 실무: 핵심 명령어와 문제 해결
실행 환경 정보
항목상세 정보
운영체제Windows 11 64비트
GPUNVIDIA GeForce RTX 5070 Ti 노트북 (12GB VRAM)
드라이버 버전591.44 (CUDA 13.1)
Ollama 버전0.20.0
실제 사용 가능 VRAM~11.9 GB (시스템 예약 약 300MB)
모델 관리 명령어
다운로드된 모델 확인
ollama list
실행 중인 모델 모니터링
ollama ps
출력 예시:
모델명 ...
6월 14일 17:22에 게시됨
Ollama를 이용한 로컬 대규모 언어 모델 배포 가이드
설치
Ollama 다운로드 및 설치
Ollama 공식 웹사이트에서 최신 버전을 다운로드하여 설치합니다.
설치 확인
ollama --version
경로 변경 (선택 사항)
Ollama는 기본적으로 C 드라이브에 설치되며, 다운로드된 모델도 C 드라이브에 저장됩니다. 이를 변경하여 소프트웨어와 모델을 다른 위치에 저장할 수 있습니다. 새로운 경로 예시: D:\Programs\Ollama\models. ...
6월 10일 00:48에 게시됨
DeepSeek-R1-Distill-Qwen-7B 모델을 활용한 소셜 미디어 바이럴 텍스트 생성 및 프롬프트 엔지니어링
소셜 미디어 플랫폼에서 높은 참여율을 유도하는 바이럴 콘텐츠를 생성하기 위해 대규모 언어 모델(LLM)을 활용하는 경우가 늘어나고 있습니다. 특히 DeepSeek-R1-Distill-Qwen-7B 모델은 다국어 텍스트 생성과 문맥 이해에 탁월한 성능을 보여주어, 마케팅 카피라이팅 자동화에 매우 유용합니다. 이 글에서는 해당 모델을 로컬 환경에 배포하고, 구조화된 프롬프트 엔지니 ...
6월 9일 18:47에 게시됨
LangChainGo 실전 활용법: Ollama로 Llama3를 로컬에서 구동해 OpenAI 비용 없애기
최근 몇몇 독립 개발자들과 대화를 나누면서 공통적인 고민을 발견했습니다. 대규모 언어 모델(LLM)을 활용한 애플리케이션 개발을 원하지만, OpenAI의 API 비용이 부담스럽다는 점입니다. 호출할 때마다 비용을 계산해야 하고, 프로젝트가 조금만 커져도 청구서가 급증합니다. 더군다나 민감한 데이터를 처리해야 하는 상황에서는 데이터 보안이 큰 문제입니다.
비용을 통 ...
6월 8일 21:30에 게시됨
Vim에서 AI 기반 Git 커밋 메시지 자동 생성하기
1. 개요: 코드 변경 내용을 바탕으로 자연스러운 커밋 메시지를 생성하는 방법
프로그래밍 작업 중 가장 반복적이고 지치는 일 중 하나는 커밋 메시지를 작성하는 것이다. 단순히 "bug fix"나 "update" 같은 흔한 문구로 끝내기보다, 실제 변경 사항과 그 이유를 명확히 전달하는 메시지가 중요하다. 하지만 실무에서는 시간이 부족하거나 집중력이 떨어진 상태에서 이런 ...
6월 8일 03:53에 게시됨
LLaMA-Factory와 Ollama, SpringAI를 활용한 맞춤형 미세조정 모델 구축
초기 설정 및 환경 구성
모델의 전반적인 성능을 향상시키기 위해 전체 사전 학습 파라미터를 재학습하는 것은 비용과 시간 측면에서 부담이 큽니다. 이를 해결하기 위해 LoRA( Low-Rank Adaptation) 기법을 활용한 미세조정이 주목받고 있으며, 이는 특정 도메인에 특화된 지식을 모델에 통합할 수 있게 해줍니다. 예를 들어, 채용 관련 작업에서는 지원자 역량 평가나 직 ...
5월 28일 21:42에 게시됨
WeKnora로 구축하는 즉석 지식베이스 질의응답 시스템
복잡한 문서나 긴 보고서에서 특정 정보를 찾는 데 어려움을 겪은 적이 있습니까? 일반적인 AI 도우미는 종종 잘못된 정보를 제공하거나 맥락에 맞지 않은 답변을 하기도 합니다. 이러한 문제를 해결하기 위해 WeKnora를 소개합니다.
1. 왜 WeKnora인가?
WeKnora는 단순한 챗봇이 아닌, Ollama 프레임워크 기반의 즉시 지식 기반 질의응답 시스템입니다. 주어진 텍스트를 ...
5월 21일 21:23에 게시됨