Scrapy에서 쿠키(Cookie)를 활용한 로그인 상태 유지 및 인증 우회 방법
웹 스크래핑과 세션 인증
웹 스크래핑을 진행하다 보면 특정 페이지가 로그인된 사용자에게만 접근을 허용하는 경우가 많습니다. 이러한 인증 장벽을 넘기 위해서는 브라우저가 서버와 주고받는 세션 정보, 즉 쿠키(Cookie)를 크롤러에 주입하여 로그인 상태를 유지해야 합니다.
쿠키 기반 인증의 원리
웹 서비스는 사용자의 인증 상태를 유지하기 위해 클라이언트 측에 ...
9월 4일 23:42에 게시됨