OpenTelemetry Collector Contrib 설치 및 실무 활용 가이드

OpenTelemetry Collector Contrib 개요

OpenTelemetry Collector Contrib은 OpenTelemetry(OTel) 생태계의 확장성을 담당하는 핵심 프로젝트입니다. Core 저장소에 포함되지 않은 다양한 벤더별 수신기(Receivers), 프로세서(Processors), 내보내기(Exporters) 및 확장 도구들을 포함하고 있어, 복잡한 관측성(Observability) 환경을 구축할 때 필수적으로 사용됩니다.

이 프로젝트는 커뮤니티 주도로 운영되며, 실험적인 기능부터 프로덕션 환경에서 검증된 안정적인 컴포넌트까지 폭넓은 선택지를 제공합니다. 개발자는 이를 활용해 인프라와 애플리케이션의 텔레메트리 데이터를 유연하게 수집하고 가공하여 원하는 백엔드로 전송할 수 있습니다.

주요 구성 요소 아키텍처

수신기(Receivers): 다양한 소스(예: OTLP, Kafka, Redis)로부터 데이터를 받아들이는 진입점 역할을 합니다.
프로세서(Processors): 수집된 데이터를 필터링, 수정, 배치 처리하거나 속성을 추가하는 중간 처리 단계입니다.
내보내기(Exporters): 가공된 데이터를 Prometheus, Jaeger, Elasticsearch 등 외부 저장소나 분석 플랫폼으로 전송합니다.
확장(Extensions): 인증, 상태 체크, 프로파일링 등 파이프라인 외부에서 동작하는 보조 기능을 수행합니다.

환경 구축 및 바이너리 빌드

OpenTelemetry Collector Contrib을 직접 빌드하여 사용하려면 Go 언어 환경과 기본적인 빌드 도구가 필요합니다.

사전 요구 사항

Go (버전 1.20 이상 권장)
Git
Docker (컨테이너 기반 테스트 시 필요)

빌드 절차

저장소를 복제한 후 make 명령어를 통해 실행 파일을 생성할 수 있습니다.

# 소스 코드 복제
git clone https://github.com/open-telemetry/opentelemetry-collector-contrib.git
cd opentelemetry-collector-contrib

# contrib 바이너리 빌드
make otelcol-contrib

빌드가 완료되면 ./bin/ 디렉토리에 otelcol-contrib 실행 파일이 생성됩니다.

설정 및 실행 예제

Collector의 동작은 YAML 설정 파일을 통해 정의됩니다. 아래는 OTLP 데이터를 수집하여 콘솔에 로그로 출력하고 배치 처리를 수행하는 예시 설정입니다.

# local-collector-config.yaml
receivers:
  otlp:
    protocols:
      grpc:
        endpoint: "0.0.0.0:4317"
      http:
        endpoint: "0.0.0.0:4318"

processors:
  batch:
    send_batch_size: 1000
    timeout: 5s

exporters:
  debug:
    verbosity: detailed

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch]
      exporters: [debug]
    metrics:
      receivers: [otlp]
      processors: [batch]
      exporters: [debug]

작성한 설정을 적용하여 Collector를 실행하는 명령은 다음과 같습니다.

./bin/otelcol-contrib --config ./local-collector-config.yaml

실무 적용 시나리오 및 최적화

실제 운영 환경에서는 다음과 같은 방식으로 활용도를 높일 수 있습니다.

데이터 라우팅: 특정 속성에 따라 데이터를 다른 익스포터로 분기 처리하여 스토리지 비용을 최적화합니다.
민감 정보 필터링: attributes 프로세서를 사용하여 PII(개인정보)를 제거하거나 마스킹 처리한 후 외부로 전송합니다.
리소스 관리: memory_limiter 프로세서를 반드시 설정하여 Collector 자체가 시스템 메모리를 과다 점유하지 않도록 방지해야 합니다.

괴물 클럽