LLM 기반 문서 자동화 테스트 플랫폼의 워커 서비스 신뢰성 강화 방안
1. 워커 서비스의 신뢰성 문제 분석
기존 아키텍처에서 워커(Worker)가 대규모 언어 모델(LLM) API를 호출할 때 블로킹(Blocking) 대기 상태가 발생합니다. 이 과정에서 워커 컨테이너가 예기치 않게 종료되거나 중단될 경우, 해당 작업은 데이터베이스상에서 계속 'processing' 상태로 남게 됩니다. Redis의 작업 큐에서 이미 메시지가 소비되었기 때문에, 시스템은 해당 ...
7월 22일 02:00에 게시됨