CentOS에서 Kafka 중앙 메시지 브로커 설치 및 설정

환경 구성 및 사전 준비 운영체제: CentOS Linux 7.6.1810 (Core) Kafka 버전: kafka_2.12-2.2.0 JDK 버전: 1.8.0_212 이상 설치 단계 1. 패키지 다운로드 Apache 공식 저장소에서 Kafka 압축 파일을 다운로드합니다. curl -O https://archive.apache.org/dist/kafka/2.2.0/kafka_2.12-2.2.0.tgz 접속이 불가할 경우 다른 미러를 사용하세요. wget http://mirrors.tu ...

7월 14일 17:50에 게시됨

ZooKeeper 워크스테이션에서의 설치 및 실행 가이드 (Windows 기반)

안정적인 ZooKeeper 버전 다운로드 최신 안정 버전인 zookeeper-3.5.7을 공식 사이트에서 다운로드합니다. 다운로드 파일명: apache-zookeeper-3.5.7-bin.tar.gz ⚠️ 주의: -bin.tar.gz 확장자가 포함된 파일만 정상적으로 실행 가능합니다. 다른 형식은 사용 불가. 압축 해제 및 디렉터리 준비 압축 파일을 원하는 위치(예: C:\zookeeper)에 추출합니다. 명령 프롬프트 ...

7월 14일 01:51에 게시됨

Zookeeper 설치 및 클러스터 구성 가이드

개요 Zookeeper는 분산 시스템에서 노드 간의 동기화와 협력을 지원하는 중간 소프트웨어입니다. 파일 시스템과 유사한 트리 구조를 사용하며, 변경 사항을 클라이언트에게 실시간으로 알리는 기능도 제공합니다. 공식 사이트: https://zookeeper.apache.org/ 구성 요소: 하나의 리더(Leader)와 여러 팔로워(Follower)로 구성된 클러스터입니다. 절반 이상의 노 ...

7월 12일 04:23에 게시됨

HBase 테이블 수준의 리전 균형 조정 기법

HBase 환경에서 데이터가 리전에 고르게 분포되지 않을 경우, 특히 예비 분할 없이 생성된 리전일 경우, 쓰기 부하의 불균형 문제가 발생할 수 있습니다. 전통적인 해시 또는 솔트 방식은 분산을 개선할 수 있지만, 이후 조회 성능에 영향을 미치는 문제점이 있습니다. 본 문서에서는 테이블 단위에서 리전의 분포를 최적화하는 새로운 균형 조정 전략을 제안합니다. 이 방 ...

7월 4일 18:15에 게시됨

Kafka 클러스터 구축 가이드

클러스터 IP 주소: 192.168.0.191 192.168.0.110 192.168.0.122 세 대의 서버를 사용하여 Zookeeper와 Kafka 클러스터를 구성합니다. 각 서버에서 다음 명령어로 Zookeeper 이미지를 다운로드합니다. docker pull zookeeper:3.4 다음으로 각 서버에 디렉토리를 생성하고 권한을 부여합니다. chmod 777 /home/admin/kafka/zookeeper/ chmod 777 /home/admin/kafka/zookee ...

7월 3일 21:16에 게시됨

ZooKeeper 실전: 임시 노드와 Watcher를 활용한 리더 선출 구현

1. 문제 정의 마스터-슬레이브 구조의 클러스터에서 모든 하드웨어는 언제든지 장애가 발생할 수 있다고 가정합니다. 마스터 노드가 다운되었을 때, 슬레이브 중 하나를 새로운 마스터로 선출해야 합니다. ZooKeeper를 사용하면 이 리더 선출(Leader Election) 기능을 비교적 간단하게 구현할 수 있습니다. 본 글에서는 일반적인 용어를 사용하여 리더(Leader)와 팔로워(Fo ...

7월 2일 02:52에 게시됨

ZooKeeper 'Unreasonable length' 예외 발생 원인 및 해결 가이드

문제 현상 ZooKeeper 서버를 시작할 때 다음과 같은 IOException이 발생하며 프로세스가 강제 종료되는 경우가 있습니다. Exception in thread "main" java.io.IOException: Unreasonable length = 1860320 at org.apache.jute.BinaryInputArchive.checkLength(BinaryInputArchive.java:127) at org.apache.jute.BinaryInputArchive.readBuffer(BinaryInputArchive ...

7월 1일 03:13에 게시됨

CentOS 7에서 Kafka 3.7 단일 노드 구축: Zookeeper + SSL 인증 및 공중망 프록시 연동 가이드

1. 필요한 패키지 다운로드 먼저 JDK 1.8, Zookeeper 3.8.4, 그리고 Kafka 3.7.0 바이너리를 준비합니다. JDK는 별도로 다운로드해야 합니다. wget https://downloads.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz wget https://archive.apache.org/dist/kafka/3.7.0/kafka_2.13-3.7.0.tgz 2. Java 환경 변수 설정 JDK 압축을 풀고 전역 환 ...

6월 27일 00:23에 게시됨

Apache Flink 클러스터 설치 및 구성 가이드

필수 환경 설정 운영체제: Rocky Linux 8.8 JDK 버전: Java 11 (최소 요구사항 JDK 8 이상) 설치 파일 다운로드 최신 버전 1.17.1 다운로드: wget https://archive.apache.org/dist/flink/flink-1.17.1/flink-1.17.1-bin-scala_2.12.tgz 로컬 모드 설치 압축 해제 tar -zxvf flink-1.17.1-bin-scala_2.12.tgz 환경 변수 설정 export FLINK_HOME=/opt/flink-1.17.1 exp ...

6월 21일 00:27에 게시됨

Flume에서 HBase 연결 시 NoClassDefFoundError 해결 방법

HBase 연동 중 클래스 로딩 오류 대응 전략 Apache Flume를 통해 HBase로 데이터를 적재할 때, 종종 NoClassDefFoundError 또는 ClassNotFoundException과 같은 클래스 로딩 문제에 직면할 수 있습니다. 특히 org/apache/hadoop/hbase/HBaseConfiguration, org/apache/zookeeper/Watcher, MasterProtos$MasterService$BlockingInterface 등의 클래스 누락이 빈번하게 발생 ...

6월 1일 18:28에 게시됨