Python을 이용한 데이터 수집 및 처리 과제
본 문서는 Python 프로그래밍 언어를 활용하여 웹 스크래핑, 데이터 처리 및 데이터베이스 저장 기법을 다루는 세 가지 과제에 대한 내용을 담고 있습니다. 각 과제는 실제 데이터를 다루는 과정을 통해 데이터 엔지니어링의 핵심 기술을 습득하는 데 중점을 둡니다.
과제 1: 지역별 날씨 예보 데이터 수집 및 저장
요구사항: 중국 기상망(http://www.weather.com ...
9월 29일 20:15에 게시됨
안드로이드 시스템 다이얼로그 동적 차단 구현
안드로이드 기기에서는 시스템 및 애플리케이션에 의해 다양한 다이얼로그가 표시됩니다. 터치 기반 인터페이스에서 이러한 팝업창들은 사용자 경험을 저해할 수 있으며, 특히 마우스가 없는 환경에서는 수동으로 닫기가 번거롭습니다. 본문에서는 화이트리스트 기반의 다이얼로그 차단 시스템을 구현하여, 데이터베이스에 등록된 조건에 따라 특정 다이얼로그의 표시를 동 ...
8월 31일 20:04에 게시됨
Django ORM 기본 사용법
Django ORM 기본 이해
1. 데이터베이스 설정
settings.py 파일에서 데이터베이스를 설정합니다. 기본값은 SQLite입니다.
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.sqlite3',
'NAME': BASE_DIR / 'db.sqlite3',
}
}
다른 데이터베이스를 사용하려면 다음과 같이 설정을 변경할 수 있습니다.
DATABASES = {
'default': ...
8월 30일 23:38에 게시됨
Qt Quick 환경에서 SQLite 데이터를 뷰 목록에 바인딩하는 방법
Qt Quick 애플리케이션에서 로컬 데이터를 효율적으로 화면에 표현하려면 Model-View-Delegate 아키텍처를 이해하는 것이 필수적입니다. 이 패턴은 데이터 관리 (Model), 시각적 표현 (View), 개별 항목의 렌더링 방식 (Delegate) 을 명확히 분리하여 유지보수성을 높입니다.
SQLite 데이터베이스에 저장된 정보를 QML 목록 위젯으로 표시하려면, JavaScript 를 통해 데이 ...
8월 22일 10:33에 게시됨
데이터 탐정의 시작: SQL Noir 설치부터 첫 번째 사건 해결까지
SQL Noir는 80년대 누아르 분위기의 탐정 서사와 SQL 쿼리 학습을 결합한 인터렉티브 교육 플랫폼입니다. 사용자는 단순한 학습자가 아닌 탐정이 되어, 데이터베이스 속에 숨겨진 단서를 찾아내고 복잡한 사건을 해결하게 됩니다. 이 가이드에서는 로컬 환경 구축부터 첫 번째 사건을 프로그래밍 방식으로 해결하는 과정까지 상세히 안내합니다.
1. 환경 구축 및 프로젝트 ...
7월 23일 08:11에 게시됨
C++ 환경에서 SQLite 연동 시 발생하는 경로 및 테이블 인식 문제 해결
C++ 프로젝트에서 SQLite 데이터베이스를 연동할 때, 환경 설정이 끝난 후에도 "No such table"이나 "Database not found"와 같은 오류로 인해 난관에 부딪히는 경우가 많습니다. 이는 주로 데이터베이스 파일의 경로 설정이나 런타임 시의 작업 디렉토리 불일치로 인해 발생합니다. C++ 인터페이스를 사용하여 SQLite를 안정적으로 연결하고 데이터를 조회하는 방법을 정 ...
7월 22일 10:22에 게시됨
Douyin 영상 자동 수집 및 관리 시스템 구축 가이드
배경: 콘텐츠 수집의 비효율성
숏폼 콘텐츠가 폭발적으로 증가하는 현재, 특정 플랫폼의 영상을 체계적으로 보관하고 활용하는 것은 개인 사용자부터 연구자까지 폭넓은 니즈를 가진 과제입니다. 수동으로 영상을 저장하는 방식은 시간 소모가 크고, 메타데이터 손실, 중복 저장, 파일 관리 혼란 등의 문제를 야기합니다.
이 글에서는 Python 기반 오픈소스 도구를 활용 ...
7월 21일 16:02에 게시됨
Python 비동기 웹 개발을 위한 Tortoise ORM 설정 및 활용 전략
Tortoise ORM 의 구조와 특징
Tortoise ORM 은 Python 생태계에서 사용되는 고성능의 비동기(Object-Relational Mapping) 라이브러리입니다. Django 프레임워크의 설계 철학을 바탕으로 하여, 복잡한 관계형 데이터를 직관적으로 다룰 수 있도록 제작되었습니다. SQLite, MySQL, PostgreSQL, Microsoft SQL Server 등 다양한 데이터베이스 백엔드를 지원하며, 가벼운 부하 ...
7월 19일 04:15에 게시됨
주식 데이터를 SQLite로 저장하는 실시간 수집 시스템
정기적으로 웹에서 실시간 주식 정보를 가져와 로컬에 SQLite 데이터베이스에 기록합니다.
실행 시 자동으로 데이터베이스가 생성되며, 메뉴를 통해 테이블을 생성하고, 10초 간격으로 데이터를 저장할 수 있습니다. 저장된 데이터는 쿼리 기능을 통해 확인 가능합니다.
문자 인코딩은 유니코드보다 ASCII를 사용하여 처리가 간단해졌습니다.
다음은 주식 데이터를 수집하 ...
7월 17일 19:17에 게시됨
오픈소스 도구를 활용한 빠른 틱톡 대량 다운로드 및 워터마크 제거 방법
틱톡 영상의 대량 수집과 워터마크 제거를 위한 오픈소스 도구 사용 가이드
내용 제작, 교육 연구 또는 데이터 분석 작업에서 틱톡 영상을 효율적으로 수집해야 할 경우가 많습니다. 수동으로 하나씩 저장하는 방식은 시간 소모적이며, 중요한 내용을 놓치기 쉽습니다. 이 글에서는 전문적인 오픈소스 틱톡 다운로더 도구를 소개합니다. 이 도구는 자동화된 대량 수집, ...
7월 12일 23:03에 게시됨