괴물 클럽

경사 하강법(Gradient Descent)은 선형 회귀 모델의 파라미터를 최적화하는 대표적인 방법이다. 전체 데이터를 사용하는 배치 경사 하강법은 계산 비용이 크고, 무작위로 하나의 샘플만 사용하는 확률적 경사 하강법(SGD)은 수렴이 불안정할 수 있다. 이 글에서는 그 중간인 미니배치 경사 하강법을 단계별로 살펴보고, 성능을 개선하는 두 가지 방법을 소개한다. 1. 확률 ...

1. PyTorch와 NumPy의 데이터 타입 호환성 문제 해결 NumPy 배열을 PyTorch 텐서로 변환할 때, PyTorch가 지원하지 않는 데이터 타입(예: uint16)을 사용하면 TypeError가 발생합니다. PyTorch는 주로 float64, float32, int64 등의 타입을 지원하므로 변환 전 전처리가 필요합니다. import numpy as np import torch # 문제 상황: uint16 타입의 배열 생성 raw_data = n ...

전력 소비 데이터 전처리 및 통계 분석 이 문서는 200명 사용자의 일별 전력 소비량(KWH) 데이터를 대상으로 다양한 통계 처리를 수행하는 Python 코드 예제입니다. pandas와 numpy를 활용하여 데이터 정제, 변환, 통계 계산 과정을 단계별로 구현합니다. 1. 데이터 구조 변환 원본 데이터는 사용자별로 일별 데이터가 행 단위로 저장되어 있습니다. 이를 사용자 번호를 ...

1. NumPy 배열(ndarray) 기본 구조 NumPy 배열은 ndarray라고 불리는 다차원 배열 객체입니다. 다음과 같은 두 부분으로 구성됩니다: 실제 데이터 데이터를 설명하는 메타데이터 (차원, 모양, 데이터 타입 등) 2. 배열의 주요 속성 import numpy as np # 3차원 배열 생성 data = np.array([ [[1, 2, 3, 4, 5, 6, 7], [1, 2, 3, 4, 5, 6, 7], [1, 2, 3, 4, 5, 6, 7] ...

1. 효율적인 메모리 관리: 뷰(View)와 복사(Copy)의 메커니즘 NumPy의 고성능 연산 핵심은 불필요한 메모리 복사를 줄이는 데 있습니다. 슬라이싱 연산은 기본적으로 원본 배열의 메모리를 공유하는 뷰(View)를 생성합니다. import numpy as np # 대규모 행렬 생성 (1000x1000) raw_data = np.random.randn(1000, 1000) # 슬라이싱을 통한 뷰 생성 (메모리 복사 없음) s ...

데이터 전후방 정리 이후의 핵심 분석 과정 데이터 클리닝 및 전처리 작업이 완료되면, 실제 인사이트 도출을 위한 본격적인 탐색 단계로 진입하게 됩니다. 이 과정은 단순한 숫자의 나열을 넘어, 변수 간의 상관관계나 패턴을 발견하여 비즈니스 의사결정을 뒷받침하는 근거를 마련하는 것이 목적입니다. 기술 통계학적 접근법을 활용하면 방대한 행렬 형태의 데이터를 몇 ...

SciPy 라이브러리 심층 분석 SciPy(Scientific Python)는 과학적 및 기술적 계산을 위한 오픈 소스 라이브러리로, NumPy 위에 구축되어 다양한 고급 수학 알고리즘과 도구를 제공합니다. SciPy는 Python의 과학적 컴퓨팅 생태계에서 중요한 역할을 하며, 수치 최적화, 적분, 보간, 신호 처리, 선형 대수, 통계 분석, 이미지 처리 등 다양한 분야에서 사용됩니다. SciPy의 ...

NumPy 소개 NumPy는 Python에서 과학 계산을 위한 핵심 라이브러리로, 동일한 데이터 타입의 요소들로 구성된 다차원 배열(ndarray)을 효율적으로 처리할 수 있게 해줍니다. 배열 내 모든 요소는 동일한 크기의 메모리 블록을 차지하며, 벡터 및 행렬 연산, 선형 대수, 푸리에 변환, 난수 생성 등 다양한 수치 연산 기능을 제공합니다. 배열 생성 방법 numpy.array() — 기 ...

NumPy는 고성능 다차원 배열 객체와 이를 활용한 수치 계산을 위한 핵심 라이브러리로, 데이터 과학 및 분석 작업의 기반이 됩니다. 주로 2차원 형태의 업무 데이터를 처리하는 데 최적화되어 있으며, 다음과 같이 임포트하여 사용합니다. import numpy as np print(np.__version__) 배열 생성과 데이터 형식 NumPy 배열(ndarray)은 동일한 데이터 타입을 가지는 연속적 ...

신경망 초기화 def initialize_network(input_size, hidden_layers, output_size): layer_sizes = [input_size] + hidden_layers + [output_size] network = {} for i in range(1, len(layer_sizes)): network[f'W{i}'] = np.random.randn(layer_sizes[i], layer_sizes[i-1]) * np.sqrt(2.0 / (layer_sizes[i-1] + layer_sizes[i])) network ...