Python에서 사용하는 진행 상황 표시 라이브러리 tqdm
1. 개요
대규모 데이터 처리나 오랜 시간이 걸리는 작업 중에는 현재 상태를 시각적으로 확인하는 것이 중요합니다. tqdm은 이러한 상황에서 진행률을 실시간으로 시각화해주는 파이썬 라이브러리입니다. 반복문 내부에서 간단히 적용만 하면, 텍스트 기반의 진전 바를 통해 얼마나 진행되었는지 쉽게 확인할 수 있습니다. 이 도구는 표준 라이브러리와 다양한 외부 라이 ...
7월 1일 19:41에 게시됨
Python Requests와 Tkinter를 활용한 데스크톱 번역기 구현
API 엔드포인트 및 요청 분석
번역 기능을 구현하기 위해 외부 번역 API를 호출하는 프로세스를 분석해야 합니다. 특정 번역 서비스의 웹 인터페이스는 백그라운드에서 POST 요청을 통해 데이터를 주고받습니다. 이 요청을 모방하여 번역 결과를 가져올 수 있으며, 이때 URL 파라미터와 페이로드(Payload) 구성에 주의해야 합니다. 예를 들어, 요청 URL에서 특정 접미사를 ...
6월 26일 23:47에 게시됨
Python HTTP 클라이언트 라이브러리를 이용한 동기 및 비동기 요청 처리
개요
Python에서 HTTP 요청을 처리하는 방법은 다양합니다. 표준 라이브러리부터 서드파티 라이브러리까지 여러 옵션이 있으며, 각각의 장단점이 존재합니다. 본 문서에서는 대표적인 HTTP 클라이언트 라이브러리들을 살펴보고, 동기 및 비동기 방식의 요청 처리를 비교합니다.
주요 HTTP 클라이언트 라이브러리
http.client: Python 표준 라이브러리
urllib: Python ...
6월 22일 00:35에 게시됨
Python 요청 시간 초과 처리 및 재시도 로직 구현
import requests
Python 웹 크롤링 시 네트워크 요청이 시간 초과될 경우를 대비해 자동 재시도 로직을 구현할 수 있습니다. requests 라이브러리를 사용해 POST 및 GET 요청에 대해 타임아웃 시간을 설정하고, 초과 시 예외를 처리하여 재전송하는 방법을 소개합니다.
POST 요청 재시도 함수
def post_with_retry(target_url, payload, headers_dict, proxy_config, max ...
6월 17일 22:49에 게시됨
Python 기반 동기 웹 크롤링: XPath를 활용한 데이터 추출
동기 로딩 페이지의 특징
브라우저에서 렌더링된 콘텐츠와 서버 응답 본문, 또는 우클릭으로 확인하는 소스 코드가 완전히 일치합니다. 이는 클라이언트 측 스크립트 없이 정적 콘텐츠로 구성된 페이지임을 의미합니다.
기본 요청 구조
import requests
from lxml import etree
target_url = 'https://www.shu.com/bookmark/sidamingzhu.html'
request_headers = {
' ...
6월 10일 17:56에 게시됨
Python HTTP 클라이언트 라이브러리: requests
개요
requests는 Python에서 HTTP 통신을 처리하기 위한 라이브러리이다. urllib3을 기반으로 구축되어 있으며 urllib2의 모든 기능을 계승한다. 가장 큰 장점은 별도의 스레드 풀 관리 없이도 쉽게 사용할 수 있다는 점이다. 복잡한 설정 과정 없이 직관적인 API를 제공하므로 HTTP 테스트 및 웹 스크래핑 작업에 적합하다.
설치는 다음 명령어로 수행한다:
pip install r ...
5월 25일 08:03에 게시됨
Selenium에서 쿠키를 활용해 로그인 우회하기
자동화 테스트를 수행할 때, 특히 관리자 페이지와 같은 인증이 필요한 웹 애플리케이션을 다룰 경우 매번 로그인 과정을 거치는 것은 비효율적입니다. 더불어 CAPTCHA나 2차 인증과 같은 보안 절차가 추가되면 자동화가 더욱 어려워집니다. 이러한 문제를 해결하기 위해 Selenium을 사용하면서도 로그인 단계를 우회하는 방법으로 세션 쿠키(Session Cookie) 재사용 기법 ...
5월 24일 06:55에 게시됨
Python을 활용한 웹 스크래핑 및 자동화 인증
이미지 다운로드 유틸리티 구현
웹 리소스를 로컬에 저장하는 기본적인 기능부터 시작합니다. requests 라이브러리를 활용하여 원격 이미지를 효율적으로 다운로드하는 방법을 살펴봅니다.
import requests
def fetch_remote_image(target_url, destination_path):
"""원격 이미지를 지정된 경로에 저장"""
server_response = requests.get(url=target_url)
w ...
5월 21일 22:46에 게시됨