CPT(Continual Pre-Training) 기초부터 시작하기: 복잡한 트레이닝 프레임워크 탈출하기
비즈니스 문제를 해결하기 위해 도메인 지식을 대규모 언어 모델에 주입해야 하는 상황이 발생했습니다. 이전에는 간단한 파인튜닝(GLM 프레임워크에서 Lora를 적용, 데이터 규모도 작음)만 수행했지만, 이제는 특정 산업 분야의 전체 관련 데이터를 수집하여 훈련해야 합니다. 규모 면에서 이전에 반수동으로 구축한 파인튜닝 데이터셋보다 훨씬 커졌고, 조사 결과 프리트 ...
7월 11일 01:42에 게시됨
LLaMA Factory를 활용한 대규모 언어 모델(LLM) 효율적 파인튜닝 실전 가이드
대규모 언어 모델(LLM)의 파인튜닝은 막대한 컴퓨팅 리소스와 복잡한 환경 설정으로 인해 진입 장벽이 높은 작업입니다. 다양한 파인튜닝 기법을 실험하려면 수많은 서드파티 라이브러리와 프레임워크를 설치해야 하며, 환경 구성 단계에서 포기하는 경우도 많습니다. 이러한 문제를 해결하기 위해 등장한 오픈소스 프로젝트가 바로 LLaMA Factory입니다. 이 프레임워크는 ...
6월 9일 01:29에 게시됨