TensorFlow 모델 직렬화 포맷 완벽 가이드
TensorFlow는 학습된 모델을 저장하고 배포하기 위해 여러 가지 직렬화 포맷을 제공합니다. 각 포맷은 특정 사용 사례에 최적화되어 있으며, 상호 변환도 가능합니다. 주요 포맷으로는 Checkpoint, GraphDef, SavedModel이 있습니다.
1. Checkpoint (*.ckpt)
학습 과정 중 중간 상태를 저장하는 데 사용되는 포맷입니다. tf.train.Saver 클래스를 통해 생성되며, 모델의 ...
10월 1일 05:27에 게시됨
Apache Flink 작업 재시작 시 데이터 유실 원인 분석 및 해결 전략
1. 데이터 유실의 근본적 원인
Apache Flink 잡(Job)이 재시작될 때 데이터 유실이 발생하는 핵심적인 원인은 처리 과정에서 발생하는 상태(State) 불일치입니다. 장애 발생 시 메모리 상에 존재하던 처리 중인 데이터가 영속화되지 않았거나, 데이터 소스의 컨슘 오프셋(Consumption Offset)이 정상적으로 저장되지 않은 상태로 복구가 이루어지면 필연적으로 데이터 누락 ...
8월 28일 23:41에 게시됨
LangGraph와 PostgreSaver를 활용한 체크포인트 저장 및 비동기 처리 설정 방법
환경 구성
사용된 라이브러리 버전:
Python: 3.12.9
langgraph: 0.5.4
langgraph-checkpoint-postgres: 2.0.23
psycopg: 3.2.10
체크포인트 초기화 방식
방법 1: 직접 연결 객체로 초기화
PostgresSaver 클래스를 직접 사용하여 데이터베이스 연결을 설정할 수 있습니다.
from psycopg import Connection
from langgraph.checkpoint.postgres import Postgres ...
7월 9일 04:25에 게시됨
오픈소스 코드 생성 모델 CodeGen의 장애 복구 및 데이터 백업 아키텍처
오픈소스 기반의 코드 생성 모델인 CodeGen을 프로덕션 환경에서 운영할 때, 예기치 않은 시스템 장애와 데이터 손실을 방지하기 위한 복구 메커니즘과 백업 아키텍처는 필수적입니다. 이 문서에서는 모델 추론 및 학습 과정에서 발생할 수 있는 다양한 예외 상황을 처리하고, 시스템 안정성을 유지하기 위한 기술적 접근 방식을 다룹니다.
실행 환경의 예외 및 타임아웃 ...
5월 23일 16:11에 게시됨