CentOS 7.5에서 Kafka 클러스터 설치 및 구성
환경 설정 및 사전 준비
3대의 서버로 구성된 Kafka 클러스터를 구축하기 위해 먼저 시스템 환경을 정리합니다.
운영체제: CentOS Linux release 7.5.1804 (Core)
메모리: 각 노드별 8GB 이상 권장 (가상머신 사용 시 2GB도 가능)
노드 수: 3개 (CDHNode1, CDHNode2, CDHNode3)
필수 소프트웨어 버전
소프트웨어버전다운로드 링크
Javajdk-8u172-linux-x64다 ...
10월 2일 03:21에 게시됨
Linux 환경에서 Kafka 및 Zookeeper 의사 분산 클러스터 구축하기
Apache Kafka는 분산 코디네이션 서비스인 Zookeeper를 활용하여 프로듀서, 컨슈머, 브로커 간의 상태 정보를 관리합니다. Zookeeper를 통해 각 컴포넌트는 무상태(Stateless) 조건을 유지하면서도 구독 관계를 형성하고 부하 분산을 실현할 수 있습니다. 본 가이드에서는 단일 머신에서 여러 노드를 실행하는 의사 분산(Pseudo-distributed) 모드 구축 과정을 다룹니다.
...
9월 25일 10:09에 게시됨
Apache Curator 클라이언트: Zookeeper 활용 가이드
세션 생성
Curator 클라이언트를 사용하여 Zookeeper 세션을 생성하는 방식은 다른 Zookeeper 클라이언트와는 차이가 있습니다. 주로 다음 두 단계로 진행됩니다:
CuratorFrameworkFactory 팩토리 클래스의 정적 메서드를 통해 클라이언트 인스턴스를 생성합니다.
생성된 CuratorFramework 인스턴스의 start() 메서드를 호출하여 세션을 시작합니다.
CuratorFram ...
9월 22일 16:14에 게시됨
Hadoop 환경에서 HBase 분산 설정 가이드
사전 준비: Hadoop 클러스터 실행
HBase를 구동하기 전에 Hadoop이 정상적으로 작동 중인지 확인합니다.
$ start-dfs.sh
$ start-yarn.sh
HBase 버전 호환성 확인
Hadoop과 HBase 간 버전 호환성은 매우 중요합니다. 현재 Hadoop 버전을 먼저 확인하세요.
$ hadoop version
확인한 버전에 맞는 HBase를 Tsinghua 미러에서 다운로드합니다. 안정적인 릴리즈를 권장합니다.
...
9월 16일 00:34에 게시됨
Apache ZooKeeper 실무 가이드: 데이터 관리, Watcher 패턴 및 Curator 활용
ZooKeeper 데이터 저장 구조
Apache ZooKeeper는 파일 시스템과 유사한 계층적 트리 구조의 ZNode를 기반으로 데이터를 저장합니다. 이는 마치 인메모리 데이터베이스처럼 동작하며, ZNode는 경로, 데이터, 접근 권한 정보 등을 포함합니다. ZooKeeper는 이러한 모든 정보를 주기적으로 디스크에 저장하여 영속성을 확보합니다.
내부적으로는 DataTree 객체를 사용하여 전 ...
8월 27일 14:14에 게시됨
Apache Kafka 시작 가이드: 설치부터 분산 클러스터 운영까지
Apache Kafka 환경 설정 및 단일 노드 실행
Apache Kafka는 고성능 분산 스트리밍 플랫폼으로, 실시간 데이터 처리 파이프라인 및 스트리밍 애플리케이션 구축에 널리 사용됩니다. Kafka를 사용하기 위해서는 먼저 ZooKeeper가 필요합니다. 본 가이드에서는 Kafka와 함께 제공되는 ZooKeeper 스크립트를 사용하여 단일 인스턴스를 시작하고, 이후 여러 Kafka 브로커로 구성 ...
8월 2일 18:04에 게시됨
Dubbo 서비스 구축 및 연동 가이드
1. 서비스 제공자(Provider) 설정
먼저 서비스 제공자 역할을 할 웹 애플리케이션을 생성합니다. 프로젝트 구조는 다음과 같이 구성합니다.
1.1 POM 설정
pom.xml 파일에 필요한 Maven 의존성을 추가합니다.
<dependencies>
<!-- Spring Context -->
<dependency>
<groupId>org.springframework</group ...
7월 29일 07:11에 게시됨
ZooKeeper Java API를 활용한 데이터 갱신, 노드 확인 및 권한 제어
setData로 노드 데이터 갱신
ZooKeeper Java 클라이언트는 기존 Znode의 내용을 변경할 때 setData 계열 메서드를 사용한다. 동기와 비동기 두 가지 형태가 제공되며, 메서드 시그니처는 다음과 같다.
public Stat setData(String path, byte[] data, int version)
public void setData(String path, byte[] data, int version,
AsyncCallback.StatCa ...
7월 29일 03:42에 게시됨
ZooKeeper 분산 락
분산 락 개요
다중 프로세스가 상호 간섭 없이 동작하도록 하기 위해 분산 시스템에서 일관성 유지 기술이 필요합니다. 이 기술의 핵심은 **분산 락**입니다.
분산 락 요구 조건
동시에 하나의 머신의 스레드만 실행 가능
고가용성 및 고성능 획득/해제
재진입 가능
락 만료 처리 기능
비차단 락(락 획득 실패 시 즉시 반환)
분산 락 구현 방식
Memcached: add 명령 ...
7월 28일 03:07에 게시됨
SolrCloud 운영 중 발생하는 주요 장애와 해결 방안
1. ZooKeeper 대체 설정 방법
Solr의 zkcli.sh 스크립트 대신 Tomcat의 catalina.sh에 직접 JVM 옵션을 추가하여 ZooKeeper 설정을 관리할 수 있습니다.
vim /data/solr-cloud/tomcat/apache-tomcat-8.0.53/bin/catalina.sh
# cygwin=false(약 109번째 줄) 앞에 추가:
JAVA_OPTS="$JAVA_OPTS -DzkHost=zoo1:2181,zoo2:2181,zoo3:2181 -Dbootstrap_confdir=/data/solr-cloud ...
7월 22일 04:22에 게시됨