생성형 AI 멀티테넌시 격리 성숙도 모델(L1-L5) 및 보안 검증 아키텍처
생성형 AI 어플리케이션을 위한 멀티테넌시 격리 전략
기업용 SaaS 환경에서 생성형 AI(GenAI) 서비스를 제공할 때, 테넌트 간의 데이터, 모델 추론 컨텍스트, 프롬프트 엔지니어링 자산 및 캐시 리소스는 반드시 논리적으로 강하게 격리되어야 합니다. 단순히 API 게이트웨이 수준의 라우팅이나 데이터베이스 스키마 분리만으로는 LLM(대규모 언어 모델) 애플리케이션의 ...
7월 28일 12:51에 게시됨
Kubernetes에서 GPU Operator를 이용한 GPU 환경 자동 구성
GPU Operator 개요
Kubernetes 환경에서 GPU를 활용하기 위해서는 드라이버, 컨테이너 툴킷 등 다양한 구성 요소의 수동 설치가 필요했습니다. NVIDIA GPU Operator는 GPU 드라이버 설치, 컨테이너 툴킷 구성, 디바이스 플러그인 배포, 모니터링 설정을 자동화하여 Kubernetes에서의 GPU 사용 프로세스를 단순화합니다.
핵심 구성 요소
NFD(Node Feature Discovery): 노 ...
7월 25일 23:31에 게시됨
Kubernetes 명령어 요약
1. `kubectl get`: 리소스 목록 조회
하나 이상의 리소스 정보를 조회합니다. 출력 형식을 지정할 수 있습니다.
# 파드 내 컨테이너 이름 조회 (init 컨테이너 제외)
kubectl get pods <POD_NAME> -o jsonpath='{.spec.containers[*].name}' -n <namespace>
# init 컨테이너 이름 조회
kubectl get pods <POD_NAME> -o jsonpath='{.spec.initConta ...
7월 25일 21:20에 게시됨
国产化 환경: Kunpeng ARM + Kylin V10에서 K8s와 Rainbond 오프라인 배포
이전 글에서는 Rainbond가国产化信创 플랫폼으로서의 능력에 대해 소개했고, 기존 Kubernetes 환경에서 Rainbond를 오프라인으로 배포하는 방법도 다루었습니다. 그러나 은행, 정부 기관 등 대부분의国产化信创 환경에서는 오프라인 배포가 더욱 일반적인 요구사항입니다.
Rainbond 공식 문서에서는 이미 존재하는 Kubernetes 환경에서 Rainbond를 오프라인으로 배포하는 ...
7월 25일 12:59에 게시됨
Kubernetes (K8s) (2) — yum 설치로 Kubernetes 컨테이너 클러스터 관리 시스템 구축
본 문서에서는 yum 설치 방식을 사용하며, K8s 버전은 1.5.2입니다. 추후 업그레이드 및 다른 설치 방법에 대해서도 다루겠습니다.
(1). 설정 설명
노드 역할
IP 주소
CPU
메모리
master, etcd
192.168.128.110
4코어
2G
node1/minion1
192.168.128.111
4코어
2G
node2/minion2
192.168.128.112
4코어
2G
(2). Kubernetes 컨테이너 클러스터 관리 시스템 구 ...
7월 25일 04:36에 게시됨
DeepSeek Kubernetes 오케스트레이션 실전 가이드: 20년 SRE 경험을 바탕으로 한 AI 모델 서비스 오케스트레이션의 7대 피해야 할 실수와 5가지 골든클리프 규칙
1장: DeepSeek Kubernetes 오케스트레이션 실전 가이드 개론
DeepSeek은 대규모 모델 추론 및 훈련 시나리오에 최적화된 오픈소스 AI 인프라 스택으로, GPU 자원 세분화 스케줄링, 멀티렌트너 격리, 모델 서비스 엘라스틱 확장/축소, 저지연 추론 파이프라인 구축에 집중하고 있습니다. 본 가이드는 생산 환경 배포를 기준으로, 클러스터 초기화부터 계산력 추상화 레이 ...
7월 24일 22:27에 게시됨
Kubernetes 1.20.5 클러스터 수동 구축 가이드 (CentOS 기반)
리소스가 제한적인 환경에서 2대의 머신(192.168.0.193, 192.168.0.191)을 사용하여 Kubernetes 클러스터를 설치하는 방법을 설명합니다. 일반적으로 안정적인 클러스터 리더 선출을 위해서는 3대 이상의 홀수 노드가 권장됩니다. 아래 단계는 모든 노드에 적용됩니다.
1. 사전 환경 설정
중요 확인 사항
CPU 코어 ≥ 2, 메모리 ≥ 2GB: k8s가 정상 작동하기 위한 최 ...
7월 24일 02:32에 게시됨
Linkerd 카나리 배포와 A/B 테스트 자동화
이 가이드에서는 Linkerd와 Flagger를 활용하여 카나리 배포와 A/B 테스트를 자동화하는 방법을 설명합니다.
사전 요구사항
Flagger는 Kubernetes 클러스터 v1.16 이상과 Linkerd 2.10 이상을 필요로 합니다.
Linkerd와 Prometheus(Linkerd Viz 구성요소)를 설치합니다:
linkerd install | kubectl apply -f -
linkerd viz install | kubectl apply -f -
linkerd 네임스페 ...
7월 23일 19:43에 게시됨
Docker Compose에서 Kubernetes 클러스터 배포로의 이전: 핵심 개념 및 설정
도커 컴포즈에서 쿠버네티스 클러스터 배포로 전환할 때, 애플리케이션 관리는 근본적으로 달라집니다. 클러스터는 높은 가용성, 탄력성, 그리고 자동 확장을 제공하지만 새로운 추상화 개념을 도입합니다.
주요 개념 분석
클러스터 환경에서는 더 이상 직접 "컨테이너"를 관리하는 것이 아니라 "워크로드"(Workload)와 "서비스"(Service)를 ...
7월 22일 07:24에 게시됨
클라우드 네이티브 게임 서버 개발: Golang을 활용한 마작 게임 서버 구축
로그 분석 및 패킷 캡처를 통한 비회원 로그인 프로세스 이해
소개
이 문서는 클라우드 네이티브 환경에서 DevOps(GitOps), Kubernetes, BPF, SRE 등을 적용하여 Golang으로 생산급 마작 게임 서버를 만드는 과정을 다룹니다. 특히, 비회원(Guest) 로그인 프로세스를 통해 서버와 클라이언트 간의 상호 작용을 분석합니다.
Nano Game Server 개요
Nano Game Server는 ...
7월 20일 00:49에 게시됨