Go 서비스 등록 및 발견 시스템
아키텍처 흐름도
gRPC 서비스 발견
gRPC 리졸버 인터페이스 설계
// gRPC 리졸빌더
type Builder interface {
Build(target Target, cc ClientConn, opts BuildOptions) (Resolver, error)
Scheme() string
}
// gRPC 리졸버
type Resolver interface {
ResolveNow(ResolveNowOptions)
Close()
}
메시지 전달 순서도
소스 코드
Gitee: https://gitee.com/luyue_zhang ...
6월 18일 16:48에 게시됨
LLM 플랫폼을 위한 API 서비스 선택 가이드: gRPC vs RESTful 성능 비교
대형 언어 모델(LLM) 호출 플랫폼인 wenda는 개인 및 중소기업의 리소스 제약과 데이터 보안 요구사항을 고려하여 설계되었습니다. 이 문서에서는 해당 플랫폼에서 제공하는 두 가지 주요 API 방식인 gRPC와 RESTful API의 성능 차이를 분석하고, 적절한 인터페이스 선택 전략을 제시합니다.
왜 API 선택이 중요한가?
wenda는 RWKV, ChatGLM, Llama 등 다양한 오픈소스 언 ...
6월 9일 19:17에 게시됨
ASP.NET Core gRPC 서비스 구축 가이드
1. gRPC 개념 이해
1.1 기본 개요
gRPC는 Google에서 개발한 오픈소스 RPC(Remote Procedure Call) 시스템으로, 언어와 플랫폼에 독립적입니다. C, C++, Python, PHP, Ruby, Node.js, C#, Objective-C, Golang 등 다양한 언어를 지원합니다. 이름의 'g'는 Google을 의미합니다.
1.2 Proto 파일의 역할
Proto 파일은 서비스 인터페이스와 데이터 구조를 정의하는 규약입니 ...
6월 4일 18:25에 게시됨
Spring Boot와 gRPC를 활용한 마이크로서비스 고성능 통신 구현
gRPC 개요
gRPC는 HTTP/2와 Protocol Buffers를 기반으로 한 고성능 RPC 프레임워크로, 양방향 스트리밍과 다중 언어 코드 생성을 지원합니다. REST JSON 대비 3-5배 작은 직렬화 크기와 30% 이상의 지연 시간 감소로 마이크로서비스 통신에 적합합니다.
프로젝트 구조
grpc-example/
├── grpc-api/ # Proto 정의 + 생성 코드
│ └── src/main/proto/
│ ...
5월 30일 12:23에 게시됨
로컬 환경에서 대규모 멀티모달 모델을 고성능으로 배포하고 API로 제공하기
Python과 C++을 활용한 로컬 배포 및 API 구현
데이터 보안과 지연 시간 감소를 위해, CLIP, BLIP 또는 LLaVA와 같은 멀티모달 모델을 로컬에 직접 배포하고 효율적인 API 서비스를 구성하는 방법을 다룹니다.
필수 환경 설정
Python 3.8 이상 및 pip
CUDA 11.7 이상 (GPU 사용 시)
PyTorch 또는 ONNX Runtime
g++ 컴파일러 (C++ 확장용)
모델 내보내기 및 추론 인터페 ...
5월 21일 11:30에 게시됨