SpringBoot와 LangChain4j 기반 기업용 RAG 지식 시스템: 다중 도구 통합 솔루션
Spring Boot 4 + LangChain4j 1.11 + Ollama + Qdrant +MCP 기반 통합 다중 에이전트 지능 시스템, RAG 구축
본 기사는 기업급 프로젝트 경험을 바탕으로 재구성하고 개발한, 진정한 "즉시 사용 가능"한 기업용 지식 시스템입니다. 표준 RAG 질의응답을 지원하는 것을 넘어 에이전트 지능 아키텍처, MCP 파일 샌드박스, 금융 전용 연산자 및 하이브리드 모델 ...
7월 1일 18:24에 게시됨
대규모 언어 모델 기반 웹 스크레이핑: ScrapeGraphAI로 자동화된 데이터 추출 구현하기
AI 기술이 웹 크롤링을 어떻게 혁신하고 있는가?
복잡한 웹사이트에서 필요한 데이터를 추출하는 작업은 오랫동안 개발자의 수작업과 정교한 CSS 선택자, XPath 표현식에 의존해 왔습니다. 하지만 이제 대규모 언어 모델(LLM)의 발전으로 이 과정이 근본적으로 변화하고 있습니다. ScrapeGraphAI는 사용자가 자연어로 원하는 정보를 설명하면, 그에 맞춰 자동으로 스크레이 ...
6월 30일 21:29에 게시됨
3.5억 파라미터 다국어 지원 오픈소스 모델, Ollama로 로컬에서 실행하기
Ollama를 사용한 granite-4.0-h-350m 모델의 로컬 배포 및 활용
고성능 GPU 없이도 자신의 컴퓨터에서 다국어 AI 모델을 구동하고 싶다면? 데이터 유출 걱정 없이 프라이버시를 유지하며 인공지능을 활용할 수 있는 방법이 있다. 바로 granite-4.0-h-350m와 Ollama 조합이다. 이 조합을 통해 단 1.4GB 정도의 용량으로 12개 언어를 지원하는 경량 대규모 언어 모델(LLM)을 ...
6월 29일 04:22에 게시됨
Cherry Studio로 시작하는 AI 어시스턴트 설정 가이드
Cherry Studio는 다양한 대형 언어 모델(LLM)을 지원하는 데스크톱 클라이언트입니다. 복잡한 설정 없이도 쉽게 AI 기능을 활용할 수 있어 초보자도 빠르게 시작할 수 있습니다.
Cherry Studio의 주요 특징
이 도구는 사용자가 별도의 기술적 지식 없이도 여러 AI 서비스를 간편하게 이용할 수 있도록 설계되었습니다. 다음과 같은 다양한 AI 제공업체와 호환됩니다:
글로 ...
6월 28일 01:32에 게시됨
Ollama로 로컬에서 파인튜닝 모델 실행하기: Open WebUI 실전 가이드
모델 파일부터 대화 인터페이스까지: Ollama와 Open WebUI로 로컬 파인튜닝 모델 배포하기
로컬 대模型을 구축하려는 개발자라면 Ollama와 Open WebUI라는 두 도구를 빼놓을 수 없다. Ollama는 백그라운드에서 모델을 효율적으로 로드하고 실행하는 역할을 담당하고, Open WebUI는 ChatGPT처럼 사용할 수 있는 깔끔하고 현대적인 웹 인터페이스를 제공한다. 하지만 Hugging ...
6월 21일 22:39에 게시됨
Ollama 로컬 대형 언어 모델 배포 실무: 핵심 명령어와 문제 해결
실행 환경 정보
항목상세 정보
운영체제Windows 11 64비트
GPUNVIDIA GeForce RTX 5070 Ti 노트북 (12GB VRAM)
드라이버 버전591.44 (CUDA 13.1)
Ollama 버전0.20.0
실제 사용 가능 VRAM~11.9 GB (시스템 예약 약 300MB)
모델 관리 명령어
다운로드된 모델 확인
ollama list
실행 중인 모델 모니터링
ollama ps
출력 예시:
모델명 ...
6월 14일 17:22에 게시됨
Ollama를 이용한 로컬 대규모 언어 모델 배포 가이드
설치
Ollama 다운로드 및 설치
Ollama 공식 웹사이트에서 최신 버전을 다운로드하여 설치합니다.
설치 확인
ollama --version
경로 변경 (선택 사항)
Ollama는 기본적으로 C 드라이브에 설치되며, 다운로드된 모델도 C 드라이브에 저장됩니다. 이를 변경하여 소프트웨어와 모델을 다른 위치에 저장할 수 있습니다. 새로운 경로 예시: D:\Programs\Ollama\models. ...
6월 10일 00:48에 게시됨
DeepSeek-R1-Distill-Qwen-7B 모델을 활용한 소셜 미디어 바이럴 텍스트 생성 및 프롬프트 엔지니어링
소셜 미디어 플랫폼에서 높은 참여율을 유도하는 바이럴 콘텐츠를 생성하기 위해 대규모 언어 모델(LLM)을 활용하는 경우가 늘어나고 있습니다. 특히 DeepSeek-R1-Distill-Qwen-7B 모델은 다국어 텍스트 생성과 문맥 이해에 탁월한 성능을 보여주어, 마케팅 카피라이팅 자동화에 매우 유용합니다. 이 글에서는 해당 모델을 로컬 환경에 배포하고, 구조화된 프롬프트 엔지니 ...
6월 9일 18:47에 게시됨
LangChainGo 실전 활용법: Ollama로 Llama3를 로컬에서 구동해 OpenAI 비용 없애기
최근 몇몇 독립 개발자들과 대화를 나누면서 공통적인 고민을 발견했습니다. 대규모 언어 모델(LLM)을 활용한 애플리케이션 개발을 원하지만, OpenAI의 API 비용이 부담스럽다는 점입니다. 호출할 때마다 비용을 계산해야 하고, 프로젝트가 조금만 커져도 청구서가 급증합니다. 더군다나 민감한 데이터를 처리해야 하는 상황에서는 데이터 보안이 큰 문제입니다.
비용을 통 ...
6월 8일 21:30에 게시됨
Vim에서 AI 기반 Git 커밋 메시지 자동 생성하기
1. 개요: 코드 변경 내용을 바탕으로 자연스러운 커밋 메시지를 생성하는 방법
프로그래밍 작업 중 가장 반복적이고 지치는 일 중 하나는 커밋 메시지를 작성하는 것이다. 단순히 "bug fix"나 "update" 같은 흔한 문구로 끝내기보다, 실제 변경 사항과 그 이유를 명확히 전달하는 메시지가 중요하다. 하지만 실무에서는 시간이 부족하거나 집중력이 떨어진 상태에서 이런 ...
6월 8일 03:53에 게시됨