Nutch와 Hadoop을 활용한 분산 검색 시스템 구축

Apache Nutch 아키텍처 개요 Nutch는 웹 스크래핑과 검색 엔진 기능을 제공하는 오픈소스 프레임워크로, 사용자가 자체적인 검색 인프라를 구현할 수 있도록 지원한다. 1.1 주요 컴포넌트 구성 WebDB: 수집된 페이지 정보 및 링크 관계 저장 Fetch Lists: WebDB의 대상 URL들을 그룹화하여 분산 처리용으로 나누기 Fetchers: Fetch List에 포함된 페이지를 다운로드하고 ...

9월 24일 22:34에 게시됨

Spring Boot에서 Hive JDBC 연동 및 데이터 조회 구현

개요기존 데이터베이스로는 대용량 데이터 분석 시 성능 병목이 발생하는 경우가 많습니다. 이 글에서는 Spring Boot 환경에서 Hive 서버에 JDBC로 접속하여 데이터를 조회하고 처리하는 방법을 살펴봅니다. CDH(Cloudera Distribution Including Apache Hadoop) 환경을 기준으로 작성되었습니다.실행 환경구성 요소버전Spring Boot2.1.8.RELEASECDH5.15.1Hive1.1.0Hive 버 ...

7월 20일 02:11에 게시됨