괴물 클럽

사전 준비: Hadoop 클러스터 실행 HBase를 구동하기 전에 Hadoop이 정상적으로 작동 중인지 확인합니다. $ start-dfs.sh $ start-yarn.sh HBase 버전 호환성 확인 Hadoop과 HBase 간 버전 호환성은 매우 중요합니다. 현재 Hadoop 버전을 먼저 확인하세요. $ hadoop version 확인한 버전에 맞는 HBase를 Tsinghua 미러에서 다운로드합니다. 안정적인 릴리즈를 권장합니다. ...

ZooKeeper 데이터 저장 구조 Apache ZooKeeper는 파일 시스템과 유사한 계층적 트리 구조의 ZNode를 기반으로 데이터를 저장합니다. 이는 마치 인메모리 데이터베이스처럼 동작하며, ZNode는 경로, 데이터, 접근 권한 정보 등을 포함합니다. ZooKeeper는 이러한 모든 정보를 주기적으로 디스크에 저장하여 영속성을 확보합니다. 내부적으로는 DataTree 객체를 사용하여 전 ...

Apache Kafka 환경 설정 및 단일 노드 실행 Apache Kafka는 고성능 분산 스트리밍 플랫폼으로, 실시간 데이터 처리 파이프라인 및 스트리밍 애플리케이션 구축에 널리 사용됩니다. Kafka를 사용하기 위해서는 먼저 ZooKeeper가 필요합니다. 본 가이드에서는 Kafka와 함께 제공되는 ZooKeeper 스크립트를 사용하여 단일 인스턴스를 시작하고, 이후 여러 Kafka 브로커로 구성 ...

1. 서비스 제공자(Provider) 설정 먼저 서비스 제공자 역할을 할 웹 애플리케이션을 생성합니다. 프로젝트 구조는 다음과 같이 구성합니다. 1.1 POM 설정 pom.xml 파일에 필요한 Maven 의존성을 추가합니다. <dependencies> <!-- Spring Context --> <dependency> <groupId>org.springframework</group ...

setData로 노드 데이터 갱신 ZooKeeper Java 클라이언트는 기존 Znode의 내용을 변경할 때 setData 계열 메서드를 사용한다. 동기와 비동기 두 가지 형태가 제공되며, 메서드 시그니처는 다음과 같다. public Stat setData(String path, byte[] data, int version) public void setData(String path, byte[] data, int version, AsyncCallback.StatCa ...

분산 락 개요 다중 프로세스가 상호 간섭 없이 동작하도록 하기 위해 분산 시스템에서 일관성 유지 기술이 필요합니다. 이 기술의 핵심은 **분산 락**입니다. 분산 락 요구 조건 동시에 하나의 머신의 스레드만 실행 가능 고가용성 및 고성능 획득/해제 재진입 가능 락 만료 처리 기능 비차단 락(락 획득 실패 시 즉시 반환) 분산 락 구현 방식 Memcached: add 명령 ...

1. ZooKeeper 대체 설정 방법 Solr의 zkcli.sh 스크립트 대신 Tomcat의 catalina.sh에 직접 JVM 옵션을 추가하여 ZooKeeper 설정을 관리할 수 있습니다. vim /data/solr-cloud/tomcat/apache-tomcat-8.0.53/bin/catalina.sh # cygwin=false(약 109번째 줄) 앞에 추가: JAVA_OPTS="$JAVA_OPTS -DzkHost=zoo1:2181,zoo2:2181,zoo3:2181 -Dbootstrap_confdir=/data/solr-cloud ...

환경 구성 및 사전 준비 운영체제: CentOS Linux 7.6.1810 (Core) Kafka 버전: kafka_2.12-2.2.0 JDK 버전: 1.8.0_212 이상 설치 단계 1. 패키지 다운로드 Apache 공식 저장소에서 Kafka 압축 파일을 다운로드합니다. curl -O https://archive.apache.org/dist/kafka/2.2.0/kafka_2.12-2.2.0.tgz 접속이 불가할 경우 다른 미러를 사용하세요. wget http://mirrors.tu ...

안정적인 ZooKeeper 버전 다운로드 최신 안정 버전인 zookeeper-3.5.7을 공식 사이트에서 다운로드합니다. 다운로드 파일명: apache-zookeeper-3.5.7-bin.tar.gz ⚠️ 주의: -bin.tar.gz 확장자가 포함된 파일만 정상적으로 실행 가능합니다. 다른 형식은 사용 불가. 압축 해제 및 디렉터리 준비 압축 파일을 원하는 위치(예: C:\zookeeper)에 추출합니다. 명령 프롬프트 ...

개요 Zookeeper는 분산 시스템에서 노드 간의 동기화와 협력을 지원하는 중간 소프트웨어입니다. 파일 시스템과 유사한 트리 구조를 사용하며, 변경 사항을 클라이언트에게 실시간으로 알리는 기능도 제공합니다. 공식 사이트: https://zookeeper.apache.org/ 구성 요소: 하나의 리더(Leader)와 여러 팔로워(Follower)로 구성된 클러스터입니다. 절반 이상의 노 ...