대규모 모델 추론을 위한 동적 라우팅 웹 게이트웨이 구축
핵심 목표: 성능과 안정성의 균형
본 프로젝트는 대규모 언어 모델의 추론 요청을 처리하는 HTTP 기반 게이트웨이를 2시간 내에 설계 및 구현하는 것을 목표로 했습니다. 핵심 과제는 KV 캐시 재사용률 증가와 단일 서버 과부하 방지 사이의 동적 균형을 유지하는 것입니다.
요청의 접두사(예: "질문: ")가 동일할 경우, 같은 백엔드 인스턴스로 라우팅하면 이전 계산 결 ...
7월 6일 02:02에 게시됨
Keepalived + LVS-DR 클러스터 구축 가이드
1. Keepalived 개요
Keepalived는 layer3, layer4, layer5 스위칭 메커니즘과 유사한 소프트웨어로, 웹 서버의 상태를 감지합니다. 웹 서버가 다운되거나 장애가 발생하면 Keepalived가 이를 감지하여 장애가 발생한 서버를 시스템에서 제거하고, 서버가 정상적으로 복구되면 자동으로 다시 서버 풀에 추가합니다. 이러한 모든 작업은 자동으로 처리되며, 관리자는 장애가 ...
6월 26일 01:31에 게시됨
Spring Gateway로 구현하는 API 게이트웨이
Netflix OSS와 Spring Cloud의 관계
2020년 이전 마이크로서비스 생태계에서는 Netflix가 오픈소스로 공개한 다양한 컴포넌트가 표준처럼 사용되었다. 현재는 Spring Cloud Alibaba가 대체재로 자리 잡았지만, 여전히 레거시 시스템에서 Netflix 스택을 접할 수 있다.
Spring Cloud AlibabaNetflix OSS역할
NacosEureka서비스 디스커버리
DubboRibbon + FeignRPC 기반 서 ...
6월 13일 23:07에 게시됨
nginx ip-hash 로드 밸런싱 불균형 원인 및 해결 방법
ip-hash 알고리즘의 동작 방식
nginx의 ip-hash 기반 로드 밸런싱은 요청의 클라이언트 IP 주소를 기반으로 후방 서버에 요청을 분산합니다. 내부적으로는 다음과 같은 해시 계산을 수행합니다:
for (;;) {
for (i = 0; i < 3; i++) {
hash = (hash * 113 + ip_addr[i]) % 6271;
}
p = hash % peers_count;
n = p / (8 * sizeof(uintptr_t)); ...
6월 12일 23:41에 게시됨
GPU·CPU·TPU 혼합 환경에서의 효율적 자원 스케줄링 기법
이종 하드웨어 환경의 자원 관리 전략
현대 클라우드 인프라는 다양한 아키텍처를 가진 처리 장치를 통합적으로 운영해야 하는 도전에 직면해 있다. 특히 CPU, GPU, TPU는 각각 다른 성능 특성을 지닌 계산 유형에 최적화되어 있으며, 이를 효과적으로 조합하기 위해서는 정교한 스케줄링 메커니즘이 필수적이다.
CPU: 제어 중심 작업 및 복잡한 분기 처리에 적합하며, 높 ...
6월 8일 21:24에 게시됨
Tomcat 8 + Memcached 기반 세션 클러스터링 구현 가이드
1. 사전 준비 사항
모든 서버의 시간 동기화 (ntpdate 등 활용, 타임존 확인 필수)
방화벽 비활성화 또는 필요한 포트(nginx 80, memcached 11211, tomcat 8080 등) 오픈
필요 소프트웨어: nginx, memcached, tomcat 8, Java 8 이상
2. Nginx 및 Memcached 설치 및 구성
Nginx와 Memcached는 패키지 매니저(yum/apt)로 간단히 설치할 수 있습니다.
yum install nginx m ...
6월 7일 16:21에 게시됨
Nginx 소스 컴파일 및 고급 설정 가이드
1. Nginx 소스 빌드 설치
1.1 소스 코드 다운로드 및 압축 해제
# 최신 안정 버전 다운로드
wget https://nginx.org/download/nginx-1.28.1.tar.gz
# 압축 해제 및 디렉토리 이동
tar -zxvf nginx-1.28.1.tar.gz
cd nginx-1.28.1/
1.2 빌드 환경 준비
필수 의존성 패키지를 설치합니다.
# Rocky Linux/RHEL 계열
dnf install -y gcc openssl-devel pcre2-devel zlib-dev ...
6월 1일 06:48에 게시됨