다중모달 재순위 모델 개요

lychee-rerank-mm은 텍스트와 이미지 후보 콘텐츠를 쿼리 관련성에 따라 점수화하고 순위를 재조정하는 경량화된 다중모달 도구입니다. 검색 시스템에서 사용자가 "강아지와 공놀이"를 검색할 때, 이 모델은 이미지 내 실제 강아지의 행동과 텍스트 설명의 정확성을 종합적으로 평가하여 가장 관련성 높은 결과를 상위에 배치합니다.

주요 장점

• 텍스트와 이미지를 동시 처리하는 다중모달 이해
• 심층 의미 분석을 통한 정밀한 순위 조정
• 실시간 처리에 적합한 경량 아키텍처
• 간결한 설정으로 신속한 통합 가능

3단계 배포 절차

서비스 실행

터미널에서 다음 명령 실행:

lychee load

초기 실행시 모델 다운로드 및 로딩에 10-30초 소요됩니다. "Running on local URL: http://127.0.0.1:7860" 메시지 확인 시 서비스 준비 완료됩니다.

웹 인터페이스 접속

브라우저에서 다음 주소 입력:

http://localhost:7860

기능 활용

제공되는 인터페이스 구성 요소:

• 쿼리 입력 필드
• 문서/콘텐츠 입력 영역
• 점수 실행 버튼
• 결과 표시 영역

핵심 기능 및 활용 예시

단일 문서 점수화

콘텐츠 검증 및 질문-응답 정확도 평가에 유용합니다.

사용 예시:

Query:     파이썬은 어떤 언어인가요?
Document:  파이썬은 고수준 프로그래밍 언어로 간결한 문법이 특징입니다.

관련성 점수 ≈ 0.92 (1.0 만점)

대량 콘텐츠 재정렬

검색 결과 최적화 및 추천 시스템에 적용 가능합니다.

입력 형식:

Query:  머신러닝이란?

Documents:
인공지능의 하위 분야로 데이터 학습을 통한 예측 모델 구축...
---
오늘은 맑은 날씨로 산책하기 좋습니다...
---
지도학습과 비지도학습으로 분류되는 기술...
---
사과 주스 레시피: 신선한 사과 3개를 믹서기에 갈아주세요...

관련성 순으로 문서 자동 정렬됩니다.

다중모달 처리

입력 유형	적용 시나리오
텍스트 전용	문서 매칭, 질의 응답
이미지 전용	이미지 검색, 콘텐츠 심사
텍스트+이미지 조합	제품 매칭, 추천 시스템

점수 해석 및 최적화 기법

점수별 등급 체계

점수 범위	관련성 수준	권장 조치
0.7 이상	매우 높음	우선 순위 적용
0.4-0.7	보통	보조 콘텐츠 활용
0.4 미만	낮음	제외 고려

명령어 커스터마이징

기본 명령어: "Given a query, retrieve relevant documents."

시나리오별 최적화 예시:

• 상품 추천: "Given a product, find similar items"
• 고객 지원: "Given a user issue, retrieve solutions"

실무 적용 사례

• 이커머스 검색: "여성 스니커즈" 쿼리에 대한 상품 이미지-설명 일치도 평가
• 콜 센터 품질 관리: 고객 문의와 상담사 응답 간 관련성 측정
• 미디어 콘텐츠 추천: 사용자 관심사 기반 다중모달 콘텐츠 순위 조정

FAQ 및 문제 해결

자주 묻는 질문

Q: 다중 문서 처리 한도는?
A: 최적 성능을 위해 10-20개 문서 단위로 처리 권장

Q: 점수 정확도 개선 방법?
A: 도메인 특화 명령어 사용으로 관련성 판단 기준 조정

서비스 관리 명령어

# 상호작용 모드 실행
lychee

# 공유 링크 생성
lychee share

# 디버깅 모드
lychee debug

문제 진단

• 로그 확인: tail -f /root/lychee-rerank-mm/logs/webui.log
• 포트 충돌 점검: 7860 포트 사용 여부 확인
• 네트워크 연결 상태 검증