Scrapy에서 쿠키(Cookie)를 활용한 로그인 상태 유지 및 인증 우회 방법
웹 스크래핑과 세션 인증
웹 스크래핑을 진행하다 보면 특정 페이지가 로그인된 사용자에게만 접근을 허용하는 경우가 많습니다. 이러한 인증 장벽을 넘기 위해서는 브라우저가 서버와 주고받는 세션 정보, 즉 쿠키(Cookie)를 크롤러에 주입하여 로그인 상태를 유지해야 합니다.
쿠키 기반 인증의 원리
웹 서비스는 사용자의 인증 상태를 유지하기 위해 클라이언트 측에 ...
9월 4일 23:42에 게시됨
Scrapy CrawlSpider 기반 자동 페이지 탐색 및 크롤링 구현
CrawlSpider 클래스 개요
CrawlSpider는 Scrapy의 기본 Spider 클래스를 상속받아 확장된 클래스입니다. 기본 Spider는 start_urls에 정의된 초기 URL만 크롤링하는 데 적합하지만, CrawlSpider는 추출된 링크를 자동으로 따라가며 탐색하는 규칙(Rule) 기반 메커니즘을 제공합니다. 대규모 웹사이트나 페이지네이션이 있는 사이트를 크롤링할 때 매우 효율적입니다.
아 ...
8월 3일 04:47에 게시됨
파이썬 웹 스크레이핑: 하루 만에 수백만 건 데이터 수집하기
데이터 분석, 시장 동향 파악, 특정 분야의 발전 양상 이해 등 다양한 목적으로 대량의 데이터를 수집해야 할 때가 있습니다. 수동으로 데이터를 모으는 것은 시간이 많이 들고 비효율적이며, 데이터의 정확성과 완전성을 보장하기 어렵습니다. 이러한 대규모 데이터 수집 작업을 빠르고 효율적으로 수행할 수 있는 방법은 없을까요?
파이썬은 풍부한 서드파티 라이브러리 ...
7월 25일 04:23에 게시됨
복잡한 크롤링 방지 메커니즘 대응 전략: Scrapy와 Playwright의 협업 방법
1장: 동적 웹 콘텐츠 처리를 위한 분산 크롤링 시스템 설계 (Scrapy + Playwright)
현대 웹사이트의 동적 렌더링이 증가함에 따라 기존 정적 요청 기반 크롤링 프레임워크는 한계를 보이고 있습니다. Scrapy의 효율적인 스케줄링 기능과 Playwright의 브라우저 자동화 기술을 결합하여, 고내성의 분산 크롤링 시스템을 구축할 수 있습니다.
환경 구성 및 의존성 통합
프 ...
6월 16일 19:59에 게시됨