Python 웹 크롤러 기초: HTTP 요청과 응답 처리
웹 크롤러의 종류
범용 크롤러는 검색 엔진처럼 모든 웹사이트를 무차별적으로 수집하여 키워드를 추출하고 인덱스를 생성한다. 반면 특화(포커스) 크롤러는 특정 도메인에 한정된 데이터만 수집하도록 설계된다.
Robots 프로토콜
robots.txt 파일은 크롤러가 접근 가능한 경로를 명시하는 규약이다. 예: taobao.com/robots.txt. 이는 법적 구속력 없이 자율적으로 따르는 ...
9월 13일 05:53에 게시됨