괴물 클럽

HBase 환경에서 데이터가 리전에 고르게 분포되지 않을 경우, 특히 예비 분할 없이 생성된 리전일 경우, 쓰기 부하의 불균형 문제가 발생할 수 있습니다. 전통적인 해시 또는 솔트 방식은 분산을 개선할 수 있지만, 이후 조회 성능에 영향을 미치는 문제점이 있습니다. 본 문서에서는 테이블 단위에서 리전의 분포를 최적화하는 새로운 균형 조정 전략을 제안합니다. 이 방 ...

클러스터 IP 주소: 192.168.0.191 192.168.0.110 192.168.0.122 세 대의 서버를 사용하여 Zookeeper와 Kafka 클러스터를 구성합니다. 각 서버에서 다음 명령어로 Zookeeper 이미지를 다운로드합니다. docker pull zookeeper:3.4 다음으로 각 서버에 디렉토리를 생성하고 권한을 부여합니다. chmod 777 /home/admin/kafka/zookeeper/ chmod 777 /home/admin/kafka/zookee ...

1. 문제 정의 마스터-슬레이브 구조의 클러스터에서 모든 하드웨어는 언제든지 장애가 발생할 수 있다고 가정합니다. 마스터 노드가 다운되었을 때, 슬레이브 중 하나를 새로운 마스터로 선출해야 합니다. ZooKeeper를 사용하면 이 리더 선출(Leader Election) 기능을 비교적 간단하게 구현할 수 있습니다. 본 글에서는 일반적인 용어를 사용하여 리더(Leader)와 팔로워(Fo ...

문제 현상 ZooKeeper 서버를 시작할 때 다음과 같은 IOException이 발생하며 프로세스가 강제 종료되는 경우가 있습니다. Exception in thread "main" java.io.IOException: Unreasonable length = 1860320 at org.apache.jute.BinaryInputArchive.checkLength(BinaryInputArchive.java:127) at org.apache.jute.BinaryInputArchive.readBuffer(BinaryInputArchive ...

1. 필요한 패키지 다운로드 먼저 JDK 1.8, Zookeeper 3.8.4, 그리고 Kafka 3.7.0 바이너리를 준비합니다. JDK는 별도로 다운로드해야 합니다. wget https://downloads.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz wget https://archive.apache.org/dist/kafka/3.7.0/kafka_2.13-3.7.0.tgz 2. Java 환경 변수 설정 JDK 압축을 풀고 전역 환 ...

필수 환경 설정 운영체제: Rocky Linux 8.8 JDK 버전: Java 11 (최소 요구사항 JDK 8 이상) 설치 파일 다운로드 최신 버전 1.17.1 다운로드: wget https://archive.apache.org/dist/flink/flink-1.17.1/flink-1.17.1-bin-scala_2.12.tgz 로컬 모드 설치 압축 해제 tar -zxvf flink-1.17.1-bin-scala_2.12.tgz 환경 변수 설정 export FLINK_HOME=/opt/flink-1.17.1 exp ...

HBase 연동 중 클래스 로딩 오류 대응 전략 Apache Flume를 통해 HBase로 데이터를 적재할 때, 종종 NoClassDefFoundError 또는 ClassNotFoundException과 같은 클래스 로딩 문제에 직면할 수 있습니다. 특히 org/apache/hadoop/hbase/HBaseConfiguration, org/apache/zookeeper/Watcher, MasterProtos$MasterService$BlockingInterface 등의 클래스 누락이 빈번하게 발생 ...

Apache ZooKeeper 클러스터 상태 이상 징후 및 원인 분석 CentOS 운영 체제 상에서 ZooKeeper(예: 3.4.10 버전) 를 클러스터 형태로 구축한 후, 설치 과정은 완료되었으나 bin/zkServer.sh status 명령을 통해 노드 상태를 조회할 때 오류가 발생할 수 있습니다. 일반적으로 Error contacting service, Connection Timeout, 혹은 Connection Refused 메시지가 관찰되는 현 ...