YARN 리소스 스케줄러 심층 분석: 아키텍처 설계와 실전 구현
대규모 데이터 처리를 위한 YARN의 핵심 역할
YARN(또는 Yet Another Resource Negotiator)은 Hadoop 2.0 버전부터 도입된 핵심 자원 관리 컴포넌트로, 클러스터 내에서 다수의 컴퓨팅 프레임워크가 효율적으로 자원을 공유할 수 있도록 설계되었습니다. 이 시스템은 MapReduce, Spark, Flink 등 다양한 워크로드를 동일한 인프라 위에서 실행 가능하게 하며, 자원 활용률 ...
7월 6일 20:23에 게시됨
분산 처리 시스템 학습 및 실전 최적화 전략
MapReduce 아키텍처의 핵심 원리
MapReduce는 대규모 데이터 처리를 위한 분산 컴퓨팅 모델로, 데이터를 분할 → 처리 → 집계의 세 단계로 나누어 처리한다. 주요 단계는 다음과 같다:
Map 단계: 입력 데이터를 키-값 쌍으로 변환하고, 각 요소에 대해 독립적인 연산 수행.
Shuffle & Sort 단계: 동일한 키를 가진 값들을 그룹화하여 리듀서로 전달.
Reduce 단계: ...
7월 5일 16:05에 게시됨
CentOS 7 환경에서 CDH를 활용한 Hadoop 클러스터 구축 가이드
1. 사전 준비 및 역할 할당
리소스 다운로드:
링크: 네이버 클라우드
1.1. 서버 및 역할 계획
다음과 같이 3대의 서버를 준비하고 역할을 분담합니다:
hadoop01 (192.168.1.136): CM Server, NameNode, ResourceManager
hadoop02 (192.168.1.137): DataNode, NodeManager
hadoop03 (192.168.1.138): DataNode, NodeManager
1.2. 방화벽 및 SELinux 비활성화
모든 노드 ...
6월 27일 22:44에 게시됨
Vue 3 개발 환경 구축: Node.js, Yarn 1 설치 및 패키지 관리자 전환
Vue 3 개발 환경 설정
Node.js 설치
먼저 Node.js를 설치해야 합니다. Node.js는 Vue 개발에 필요한 JavaScript 런타임 환경을 제공합니다.
Node.js 설치 확인
# 터미널에서 Node.js 설치 확인
node -v
npm -v
전역 패키지 저장 경로 설정
Node.js 설치 경로에 node_global과 node_cache 폴더를 생성합니다.
# npm 전역 패키지 저장 경로 설정
npm config set ...
6월 23일 16:31에 게시됨
의존성 관리: peerDependencies, devDependencies 그리고 dependencies
devDependencies
개발 단계에서 필요한 패키지를 지정하는 섹션으로, 이는 배포 환경에서는 포함되지 않습니다.
dependencies
이 섹션은 실제 서비스 운영에 필요한 패키지를 나타냅니다. 이러한 의존성이 없으면 프로젝트의 안정적인 동작에 문제가 생길 수 있습니다.
peerDependencies
주로 라이브러리를 개발할 때 사용되며, 호스트 환경에서 이미 설치된 특정 버전의 ...
6월 19일 01:00에 게시됨
Node.js 초기 설정 가이드: 미러 서버, 패키지 관리자, 버전 관리
Node.js를 새로 설치한 후에는 여러 가지 환경 설정을 통해 개발 생산성을 높일 수 있습니다. 이 글에서는 미러 서버 변경, cnpm 및 yarn 설치, 전역 설치 경로 및 캐시 경로 설정, Node.js 버전 관리 방법을 단계별로 설명합니다.
1. 미러 서버 변경
기본 npm 레지스트리는 해외에 있어 패키지 다운로드 속도가 느릴 수 있습니다. 국내 미러 서버로 변경하여 속도를 개선 ...
5월 23일 21:14에 게시됨