텍스트 기반 이미지 생성을 위한 Birds/CUB_200_2011, CC3M, COCO 데이터셋 구조 분석

Birds/CUB_200_2011 데이터셋

이 데이터셋은 200종의 조류 이미지와 세부적인 레이블 정보를 포함하며, 텍스트 기반 이미지 생성 모델 학습에 적합한 고해상도 이미지 및 자연어 설명을 제공합니다.

birds/CUB_200_2011
└── CU_200_2011/
    ├── images/
    │   ├── 001_class/
    │   │   ├── image_001.jpg
    │   │   └── image_002.jpg
    │   └── 002_class/
    │       ├── image_001.jpg
    │       └── image_002.jpg
    ├── images.txt                  # 각 이미지의 상대 경로 목록
    ├── classes.txt                 # 클래스 이름 리스트 (예: American Robin)
    ├── image_class_labels.txt      # 각 이미지에 대한 정답 클래스 레이블
    ├── train_test_split.txt        # 1: 훈련용, 0: 테스트용
    ├── bounding_boxes.txt          # 객체 중심 좌표 (x_min, y_min, width, height)
    ├── parts/
    │   ├── part_locs.txt           # 부위 위치 정보 (눈, 부리 등)
    │   ├── part_click_locs.txt     # 사용자 클릭 기반 부위 좌표
    │   └── parts.txt               # 부위 이름 정의
    └── attributes/
        └── attributes.txt          # 색상, 크기, 생태적 특성 등의 속성 정보

텍스트 설명 파일 구조

각 이미지에 대한 자연어 설명은 별도의 텍스트 파일로 저장되며, 문장 수준의 세부 설명을 제공합니다.

————birds/
    └── CUB_200_2011/
        ├── text/
        │   ├── 001_class/
        │   │   ├── image_001.txt     # "A bird with black wings and a red beak"
        │   │   └── image_002.txt
        │   └── 002_class/
        │       ├── image_001.txt
        │       └── image_002.txt
        ├── captions_DAMSM.pickle     # 단어 인덱스화된 문장 (DAMSM 모델 입력용)
        ├── train/filenames.pickle    # 훈련 이미지 경로 (확장자 제외)
        ├── test/filenames.pickle     # 테스트 이미지 경로
        ├── test/class_info.pickle    # 테스트 이미지의 클래스 정보
        └── DMASMencoder/
            ├── image_encoder200.pth  # 이미지 인코더 가중치
            └── text_encoder200.pth   # 텍스트 인코더 가중치

COCO 데이터셋 (전처리된 텍스트 설명 포함)

COCO는 일반적인 사물과 인간 활동을 담은 대규모 이미지-설명 쌍으로 구성되며, 다양한 시나리오에서 텍스트 기반 생성 모델의 성능을 평가하는 데 유용합니다.

————coco/
    ├── text/
    │   ├── 001_class/
    │   │   └── COCO_train2014_000000000009.txt  # "A colorful bathroom with multiple sinks"
    ├── captions_DAMSM.pickle         # 문장 단위 토큰 인덱스
    ├── train/filenames.pickle
    ├── test/filenames.pickle
    ├── DMASMencoder/
    │   ├── image_encoder100.pth
    │   └── text_encoder100.pth
    └── npz/coco_val256_FIDK0.npz      # 생성 이미지 평가용 (FID 계산용)

주요 특징

다양한 환경과 객체 유형을 포함 (인간, 차량, 음식, 실내/실외 등)
각 이미지에 대해 최소 5개의 독립된 설명 문장 제공
공식 평가 프레임워크 지원 (COCO Caption Evaluation API)

CC3M 데이터셋 개요

CC3M은 웹에서 자동으로 수집된 300만 장의 이미지-텍스트 쌍으로 구성된 대규모 컬렉션입니다. 주로 오픈소스 웹사이트의 이미지 타이틀과 본문 텍스트를 기반으로 추출되었습니다.

데이터셋 다운로드:
- 외국 링크: https://github.com/rom1504/img2dataset/blob/main/dataset_examples/cc3m.md
- 국내 접근: https://hyper.ai/datasets/14682

총 이미지 수: 약 300만 장
텍스트 설명은 원본 웹 페이지의 콘텐츠에서 자동 추출됨
정제되지 않은 텍스트가 포함되어 있어 전처리 필요
저품질 또는 오류 있는 설명이 존재할 수 있음
텍스트 기반 이미지 생성 모델의 일반화 능력 테스트에 적합

사용 예시

다음과 같은 형태의 데이터가 포함됩니다:

Image: cc3m_123456.jpg
Text: "A man wearing a red hat stands in front of a large building."

데이터 준비 팁

다운로드 후, 중복 이미지 및 불일치 텍스트 제거 필수
모델 훈련 전, 텍스트 정제 및 어휘 사전 생성 수행
생성 결과 평가 시, FID, BLEU, CIDEr 등 여러 지표 병행 활용

태그: text-to-image generation Birds/CUB_200_2011 COCO CC3M DAMSM

7월 14일 18:14에 게시됨

괴물 클럽