vLLM과 Chainlit로 구축하는 초장문 컨텍스트 대화 모델: GLM-4-9B 기반 시스템 빠른 배포 가이드
초장문 처리가 가능한 AI 챗봇 시스템 구축하기
이번 튜토리얼에서는 GLM-4-9B-Chat-1M 모델을 기반으로, vLLM을 백엔드 추론 엔진으로 사용하고 Chainlit을 프론트엔드 인터페이스로 활용하여 단 5분 만에 전문적인 AI 대화 시스템을 배포하는 방법을 안내합니다. 이 모델은 최대 100만 토큰의 컨텍스트 길이를 지원해 약 200만 자 이상의 한글 텍스트를 기억할 수 있어, ...
7월 11일 16:45에 게시됨
GLM-4 명령어 미세 조정 실전 가이드: 데이터 전처리부터 학습까지
HuggingFace TRL을 활용한 GLM-4 명령어 미세 조정
본 가이드는 대규모 언어 모델(LLM)의 명령어 준수(Instruction Following) 미세 조정을 다룹니다. 구현의 편의성과 코드 간결성을 위해 HuggingFace의 TRL 프레임워크를 사용합니다. TRL은 SFT(Supervised Fine-Tuning) 외에도 DPO, PPO, GRPO 등 다양한 강화 학습 기반 미세 조정 알고리즘을 지원합니다.
기반 모델로는 ...
6월 24일 22:12에 게시됨
GraphRAG + GLM-4 기반 《홍루몽》 전편 중국어 검색 증강 시스템 구축
GraphRAG는 그래프 신경망과 검색 증강 생성 기술을 결합한 고급 모델로, 그래프 구조 정보와 외부 지식 검색을 활용하여 텍스트 생성의 품질과 관련성을 향상시킵니다.
graphrag-practice-chinese는 GraphRAG의 응용 예제 프로젝트입니다. 이 프로젝트의 특징은 OpenAI 모델을 대체할 수 있는 방법을 제공하고, 기존 프롬프트와 문서 분할 방식을 수정하여 GraphRAG의 중 ...
6월 10일 20:38에 게시됨