프로젝트 개요

AI 그림 플랫폼에서 사용자가 입력한 프롬프트와 생성된 이미지 간의 불일치 문제를 해결하기 위해 Lychee 다중모달 재순위 모델을 도입했습니다. 기존 방법론의 한계를 극복하고 정확한 시맨틱 일치도를 평가하는 것이 핵심 목표입니다.

기술적 특징

다중모달 재순위 기능

텍스트-이미지 조합, 멀티모달 콘텐츠 간 평가 등 다양한 입력 유형을 지원합니다. Qwen2.5-VL 기반 70억 파라미터 모델이 다양한 생성 시나리오에 적용됩니다.

지시어 최적화

주어진 AI 생성 이미지와 프롬프트를 바탕으로 텍스트 설명과의 일치도를 평가하시오

도메인 특화 지시어를 통해 평가 정확도를 향상시킵니다.

실제 적용 사례

시스템 통합

배포 요구사항:

• GPU 메모리: 16GB+
• Python 3.8+, PyTorch 2.0+

cd /model/lychee-rerank
./service_init.sh

일치도 평가 프로세스

import requests

def assess_alignment(prompt, img_path):
    api_endpoint = "http://localhost:7860/api/evaluate"
    request_data = {
        "instruction": "프롬프트와 이미지 일치도 평가",
        "text_query": prompt,
        "content_items": [f"image:{img_path}"]
    }
    
    response = requests.post(api_endpoint, json=request_data)
    return response.json()["results"][0]

# 실행 예시
score = assess_alignment(
    "산 위로 지는 화려한 주황색과 보라색 석양",
    "/images/sunset.png"
)

대량 처리 메커니즘

def bulk_assessment(prompt_image_list):
    api_endpoint = "http://localhost:7860/api/bulk_eval"
    items = [f"text:{p}||image:{i}" for p,i in prompt_image_list]
    
    request_data = {
        "evaluation_instruction": "프롬프트-이미지 일치도 평가",
        "items": items
    }
    
    return requests.post(api_endpoint, json=request_data).json()

# 실행 예시
results = bulk_assessment([
    ("산간 석양", "/img1.png"),
    ("전사 초상화", "/img2.png")
])

성능 개선 효과

• 0.7 기준점 미만 결과 자동 재생성/검토
• 고품질 콘텐츠 우선 추천 시스템 구축
• 프롬프트 엔지니어링 학습 도구 제공

최적화 기법

추론 가속화

model_config = {
    "precision": "bf16",
    "flash_attention": True,
    "device": "auto"
}

메모리 관리

processing_params = {
    "max_tokens": 2048,
    "truncate": True
}