LLM 기반 문서 자동화 테스트 플랫폼의 워커 서비스 신뢰성 강화 방안
1. 워커 서비스의 신뢰성 문제 분석
기존 아키텍처에서 워커(Worker)가 대규모 언어 모델(LLM) API를 호출할 때 블로킹(Blocking) 대기 상태가 발생합니다. 이 과정에서 워커 컨테이너가 예기치 않게 종료되거나 중단될 경우, 해당 작업은 데이터베이스상에서 계속 'processing' 상태로 남게 됩니다. Redis의 작업 큐에서 이미 메시지가 소비되었기 때문에, 시스템은 해당 ...
7월 22일 02:00에 게시됨
Redis Sentinel 아키텍처의 기본 개념과 운영 관리
Redis Sentinel 소개 및 핵심 기능
Sentinel은 Redis 클러스터 아키텍처에서 핵심적인 구성 요소로 작동하며 다음과 같은 주요 역할을 수행합니다:
모니터링: Redis 마스터 및 슬레이브 프로세스의 상태를 지속적으로 감시
알림 시스템: 장애 발생 시 관리자에게 즉시 경고 메시지 전송
자동 장애 복구: 마스터 노드 다운 시 자동으로 슬레이브 노드로 전환
설정 관리: 장 ...
6월 27일 23:39에 게시됨
Nginx에서 백엔드 서버의 상태를 감지하여 장애 노드로의 요청 분배를 자동으로 차단하는 방법
서비스 안정성을 높이기 위해 Nginx는 백엔드 서버의 상태를 감지하고, 장애가 발생한 노드로 요청을 보내지 않도록 구성할 수 있습니다. 이를 위한 두 가지 접근 방식은 다음과 같습니다:
수동(패시브) 상태 확인: Nginx 기본 기능만으로 구현 가능하며, 소규모 또는 중간 규모 환경에 적합합니다.
능동(액티브) 상태 확인: 외부 모듈을 통해 주기적으로 백엔드 상태를 ...
6월 8일 18:33에 게시됨