CPT(Continual Pre-Training) 기초부터 시작하기: 복잡한 트레이닝 프레임워크 탈출하기
비즈니스 문제를 해결하기 위해 도메인 지식을 대규모 언어 모델에 주입해야 하는 상황이 발생했습니다. 이전에는 간단한 파인튜닝(GLM 프레임워크에서 Lora를 적용, 데이터 규모도 작음)만 수행했지만, 이제는 특정 산업 분야의 전체 관련 데이터를 수집하여 훈련해야 합니다. 규모 면에서 이전에 반수동으로 구축한 파인튜닝 데이터셋보다 훨씬 커졌고, 조사 결과 프리트 ...
7월 11일 01:42에 게시됨
다중 채널 합성곱 신경망을 활용한 변압기 진동 신호 기반 고장 진단 (MATLAB 구현 포함)
산업 현장에서의 변압기 고장 탐지는 마치 미세한 단서를 찾아내는 추리 과정과 같다. 전통적인 신호 분석 기법들은 한계에 부딪히기 쉽다. 푸리에 변환은 주파수 해석에 유리하지만 순간적인 비정상 특성을 놓치기 쉬우며, 웨이블릿 변환은 잡음에 취약해 실제 운전 조건에서 성능이 급격히 저하될 수 있다. 이러한 문제를 해결하기 위해, 다양한 스케일의 특징을 동 ...
7월 8일 03:32에 게시됨
엣지 환경에서의 지향성 음성 인식: 선택적 주의 메커니즘 설계
1. 문제 정의: 왜 기기 지향성 탐지가 중요한가
스마트 스피커나 차량 인포테인먼트 시스템 앞에서 여러 사람이 대화할 때, 기기가意圖하지 않은 발화에 반응하는 상황은 빈번하다. 기존 웨이크워드 방식은 "헤이 시리"와 같은 고정 구문을 강제하므로 자연스러운 대화 흐름을 방해한다. 선택적 주의 시스템(Selective Attention System, SAS)은 이러한 한계를 극복하기 ...
6월 28일 22:43에 게시됨
Transformer 기반 세그멘테이션 모델 SETR 설치 및 활용 가이드
SETR: Transformer 기반 시퀀스-투-시퀀스 접근의 세그멘테이션 구현
SETR(Sequence-to-Sequence with Transformers for Semantic Segmentation)는 2021년 CVPR에서 발표된, 전통적인 컨볼루셔널 네트워크 대신 트랜스포머를 활용한 새로운 세그멘테이션 아키텍처입니다. 이 프로젝트는 이미지 분할을 시퀀스 예측 문제로 재정의하여, 전역적 관계를 효과적으로 모델링합니 ...
6월 27일 16:58에 게시됨
minGPT: 경량 GPT 모델 설치부터 활용까지 완벽 가이드
minGPT 소개
minGPT는 OpenAI의 GPT(Generative Pretrained Transformer) 모델을 PyTorch로 간결하게 재구현한 경량 라이브러리입니다. 핵심 Transformer 모델이 단 300줄의 코드로 구성되어 있어, 복잡한 상용 구현과 달리 학습 및 연구 목적으로 쉽게 접근할 수 있습니다. 이 가이드에서는 minGPT의 설치, 주요 구성 요소, 실습 예제, 그리고 고급 사용법까지 단계별로 ...
6월 22일 22:55에 게시됨
8B 파라미터 LLM에 LoRA 적용하는 완전 실전 가이드: 학습부터 배포까지
1. 왜 파라미터 효율적 미세 조정(PEFT)이 필요한가
1.1 대규모 언어 모델 미세 조정의 어려움
거대 언어 모델(LLM)의 성능은 놀랍지만, 8B, 13B, 70B처럼 거대한 모델을 통째로 미세 조정(full fine-tuning)하는 것은 현실적으로 많은 문제를 안고 있습니다.
막대한 컴퓨팅 자원: 8B 파라미터 모델을 전체 학습하려면 엄청난 GPU 메모리와 시간이 필요합니다.
높은 ...
5월 28일 05:52에 게시됨