Flink YARN 배포 실전 가이드
대규모 클러스터 환경에서 리소스를 효율적으로 활용하기 위해 Flink를 YARN 위에 배포하는 경우가 많습니다. 이 글에서는 Flink를 YARN에 구축하고 작업을 제출하는 전체 과정을 살펴봅니다.
사전 준비사항
HDFS와 YARN 서비스가 정상적으로 기동된 상태여야 합니다. 또한 Flink가 YARN과 상호작용하려면 Hadoop 설정 경로를 시스템에 알려주어야 합니다.
메모리 검사 ...
7월 26일 09:07에 게시됨
Impala를 이용한 데이터 웨어하우징 및 Flink 실시간 스트림 처리 연동
이 문서에서는 대규모 데이터 분석을 위해 Apache Impala를 활용하여 SQL 기반 데이터 웨어하우징 작업을 수행하는 방법과, Apache Flink를 사용하여 Apache Kafka와 연동하여 실시간 스트림 데이터를 처리하는 애플리케이션을 개발하는 과정을 다룹니다.
빅데이터 클러스터 환경 구성
Impala와 Flink를 사용하기 위해서는 Hadoop, Impala, Kafka, Flink, Zookeeper, Rang ...
7월 19일 22:10에 게시됨
Flink SQL 기반 데이터 처리 설정 및 사용법
Flink SQL 환경 구성
Flink의 Table API와 SQL 기능은 flink-table 모듈을 통해 제공되며, 프로젝트에 다음 의존성을 추가해야 합니다:
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-table_2.11</artifactId>
<version>1.5.0</version>
</dependency>
또한 스칼라 기반의 배치 또는 스트 ...
6월 23일 22:33에 게시됨
Apache Flink 클러스터 설치 및 구성 가이드
필수 환경 설정
운영체제: Rocky Linux 8.8
JDK 버전: Java 11 (최소 요구사항 JDK 8 이상)
설치 파일 다운로드
최신 버전 1.17.1 다운로드:
wget https://archive.apache.org/dist/flink/flink-1.17.1/flink-1.17.1-bin-scala_2.12.tgz
로컬 모드 설치
압축 해제
tar -zxvf flink-1.17.1-bin-scala_2.12.tgz
환경 변수 설정
export FLINK_HOME=/opt/flink-1.17.1
exp ...
6월 21일 00:27에 게시됨
Apache Flink OpenSearch Connector 실전 가이드
1. 개요
Apache Flink OpenSearch 커넥터는 Flink 스트리밍 프레임워크와 OpenSearch 간의 데이터 교환을 지원하는 공식 오픈소스 컴포넌트입니다. 이 커넥터는 OpenSearch 인덱스에 문서 처리를 수행하며, 실시간 데이터 수집과 분석을 가능하게 합니다. 주로 Flink 스트림 데이터를 OpenSearch에 저장하거나 조회해야 하는 환경에서 활용됩니다.
2. 빠른 시작
사전 준 ...
6월 11일 23:08에 게시됨