MM-CoT 운영 환경 구축: 온프레미스부터 클라우드까지의 실전 가이드
필수 환경 사전 준비
MM-CoT(Multimodal Chain-of-Thought)는 이미지와 텍스트를 결합한 추론이 가능한 멀티모달 AI 모델이다. 본 가이드에서는 개발 경 구성부터 프로덕션 배포까지 전 과정을 다룬다.
최소 시스템 요구사항:
Python 3.9 이상
PyTorch 2.0 이상 (CUDA 지원)
핵심 패키지:
transformers 4.30+
sentence-transformers 2.2+
openai 1.0+
...
6월 8일 18:11에 게시됨
t5-base 모델 사용 시 주의사항 및 문제 해결
문제 1: 로컬 모델 전이 시 발생하는 예기치 않은 오류
모델을 직접 다운로드하여 로컬에서 사용할 경우, 토크나이저의 model_max_length 값이 비정상적으로 출력되는 문제가 발생할 수 있습니다. 아래 코드를 실행하면 토크나이저의 최대 길이가 1000000000000000019884624838656과 같은 터무니없는 값으로 표시되지만, 모델 설정의 n_positions는 올바르게 512로 출력됩 ...
6월 3일 01:11에 게시됨
Qwen3-Reranker-0.6B 의미론적 재순위 모델의 검색 정확도 최적화 기법
1. 재순위(Reranking) 기술의 필요성
정보 검색 시스템에서 초기 검색(Retrieval)은 주로 BM25나 Dense Vector를 통한 의미론적 매칭을 수행합니다. 하지만 초기 검색 결과는 표면적인 단어 일치에 그치거나, 진짜 핵심 정보가 하위로 밀리는 경우가 많습니다. 이를 해결하기 위해 교차 인코더(Cross-Encoder) 기반의 재순위 모델이 사용됩니다.
Qwen3-Reranker-0.6B는 경 ...
6월 3일 00:43에 게시됨
의료 기록 자동 생성을 위한 대형 언어 모델 활용
이 프로젝트는 Python의 transformers 라이브러리를 사용하여 로컬 환경에서 실행되는 ChatGLM-6B 대형 언어 모델을 활용해 환자의 진술 내용을 바탕으로 의료 기록을 자동으로 작성하는 기능을 구현합니다. 입력은 환자가 직접 기술한 증상 및 병력 정보이며, 출력은 JSON 형식의 구조화된 의료 기록입니다.
시스템 목적
환자가 병원에서 진료를 받기 위해 접수할 때, 먼 ...
6월 2일 16:57에 게시됨
mPLUG-Owl3-2B 배포 오류 해결: transformers 기본 오류 우회를 위한 7가지 핵심 수정 방법
환경 설정 및 배포
시스템 요구사항
Python 3.8 이상 버전
최소 8GB 메모리
CUDA 지원 GPU(권장) 또는 충분한 CPU 자원
10GB 이상 디스크 공간
필요 패키지 설치
# 가상 환경 생성
python -m venv owl3_venv
source owl3_venv/bin/activate # Linux/Mac
owl3_venv\Scripts\activate # Windows
# 핵심 패키지 설치
pip install torch torchvision torchaudio --inde ...
5월 23일 21:34에 게시됨