크롤링 관련 실용적인 팁 및 기술
크롤링 관련 실용적인 팁 및 기술
목차- 크롤링 관련 실용적인 팁
PyCharm을 활용한 문자열 처리 (예: 요청 헤더에 따옴표 추가)
Chrome F12 디버거에서 "Debugger Paused" 해결 방법
수동으로 프록시 설정 변경하기
User-Agent 풀 구성 및 활용
프로그램 실행 시간 표시
중요한 크롤링 요청 파라미터 구성
문자열 날짜에 하루 더하기
스레드 풀과 고정 간격의 ...
7월 4일 21:01에 게시됨
파이썬 멀티스레딩과 threading 모듈 활용
스레드 기본 개념
스레드와 프로세스는 사용 방식과 스케줄링 전략이 유사하지만 본질적인 차이점은 다음과 같습니다:
프로세스: 자원 할당 단위로, 독립된 메모리 공간을 나타냅니다
스레드: 실행 단위로, 실제 코드 명령어를 실행합니다
하나의 프로세스 내에는 여러 개의 스레드가 존재할 수 있으며, 마치 하나의 공장에 여러 개의 생산 라인이 있는 것과 같습니다. ...
6월 10일 21:15에 게시됨
파이썬의 재귀 락, 세마포어, 이벤트, 스레드 큐, 프로세스 및 스레드 풀, 콜백 함수, 타이머
1. 스레드의 데드락과 재귀 락 (RLock)
데드락은 두 개 이상의 스레드가 서로 자원을 기다리며 진행이 멈추는 현상이다. 예를 들어, 스레드 A가 자원 1을 점유하고 자원 2를 요청하고, 동시에 스레드 B가 자원 2를 점유하고 자원 1을 요청하면, 둘 다 대기 상태에 빠져 프로그램이 정지된다.
이 문제를 해결하기 위해 파이썬에서는 RLock(Reentrant Lock)을 제공한다. 이 ...
6월 1일 23:56에 게시됨
C#에서의 위임, 이벤트, 동기 및 비동기 처리 개념 정리
위임(Delegate)의 기본 구조
위임은 특정 반환 타입과 매개변수 시그니처를 가진 메서드를 참조할 수 있는 형식이다. 이는 함수 포인터와 유사하지만, 타입 안전성을 갖춘 객체 기반의 구현이다.
public delegate void MessageHandler(string message);
이 위임을 사용해 인스턴스를 생성하고, 적절한 메서드를 연결할 수 있다.
MessageHandler handler = new MessageH ...
5월 30일 16:04에 게시됨
Python asyncio: 비동기 환경에서 블로킹 작업 실행
비동기 프로그래밍 환경, 특히 asyncio를 사용할 때 블로킹(blocking) 작업은 주의해야 할 대상입니다. 이벤트 루프가 하나의 스레드에서 실행되는 asyncio에서는 블로킹 작업이 발생하면 해당 스레드가 멈추어 다른 모든 비동기 작업(코루틴)의 실행을 방해하게 됩니다.
이는 CPU 집약적인 계산, 파일 입출력과 같이 시간이 오래 걸리는 작업, 또는 asyncio를 지원하지 ...
5월 20일 22:21에 게시됨