CPT(Continual Pre-Training) 기초부터 시작하기: 복잡한 트레이닝 프레임워크 탈출하기
비즈니스 문제를 해결하기 위해 도메인 지식을 대규모 언어 모델에 주입해야 하는 상황이 발생했습니다. 이전에는 간단한 파인튜닝(GLM 프레임워크에서 Lora를 적용, 데이터 규모도 작음)만 수행했지만, 이제는 특정 산업 분야의 전체 관련 데이터를 수집하여 훈련해야 합니다. 규모 면에서 이전에 반수동으로 구축한 파인튜닝 데이터셋보다 훨씬 커졌고, 조사 결과 프리트 ...
7월 11일 01:42에 게시됨