Nanbeige4.1-3B 서비스 운영 환경 배포: Supervisor 프로세스 관리 + logrotate 로그 로테이션 + 헬스 체크 구성
로컬 환경에서 Nanbeige4.1-3B 모델을 성공적으로 구동하여 강력한 추론 및 대화 능력을 확인했습니다. 하지만 이를 실제 서버 운영 환경에 배포하려고 할 때 다양한 문제에 직면할 수 있습니다.
서비스가 갑자기 중단되어 수동으로 서버에 접속해 재시작해야 하는 상황
로그 파일이 지속적으로 증가하여 디스크 공간을 가득 채워 서비스 장애를 유발하는 경우
야간에 서 ...
5월 27일 13:04에 게시됨
Nginx와 UWSGI를 이용한 웹 서버 구축
Tengine은 타오바오(淘宝)에서 시작한 웹 서버 프로젝트입니다. Nginx를 기반으로 대규모 트래픽 웹사이트의 요구사항에 맞춰 여러 고급 기능과 특징이 추가되었습니다. Tengine의 성능과 안정성은 타오바오, 티몰(天猫)과 같은 대형 웹사이트에서 검증되었습니다. 궁극적인 목표는 효율적이고 안정적이며 안전한 웹 플랫폼을 구축하는 것입니다.
Nginx의 고급 버전으로 이 ...
5월 25일 05:32에 게시됨
Phi-3.5-mini-instruct 오픈소스 모델 활용: 모델 가중치 다운로드, 로컬 추론 및 웹 서비스 개발
Phi-3.5-mini-instruct 오픈소스 모델 활용: 모델 가중치 다운로드, 로컬 추론 및 웹 서비스 개발
1. 모델 개요
Phi-3.5-mini-instruct는 중국어 환경에 최적화된 경량 텍스트 생성 모델입니다. 작은 파라미터 크기를 유지하면서도 뛰어난 텍스트 이해 및 생성 능력을 보여줍니다. 주요 사용 사례는 다음과 같습니다:
중국어 질문 답변 및 대화
텍스트 요약 및 정리
콘텐 ...
5월 23일 13:15에 게시됨