Nutch와 Hadoop을 활용한 분산 검색 시스템 구축
Apache Nutch 아키텍처 개요
Nutch는 웹 스크래핑과 검색 엔진 기능을 제공하는 오픈소스 프레임워크로, 사용자가 자체적인 검색 인프라를 구현할 수 있도록 지원한다.
1.1 주요 컴포넌트 구성
WebDB: 수집된 페이지 정보 및 링크 관계 저장
Fetch Lists: WebDB의 대상 URL들을 그룹화하여 분산 처리용으로 나누기
Fetchers: Fetch List에 포함된 페이지를 다운로드하고 ...
9월 24일 22:34에 게시됨