데이터 조작 및 전처리 기법

1. 다차원 배열의 예시

다차원 배열은 머신 러닝과 딥러닝에서 가장 일반적으로 사용되는 데이터 구조입니다.

1.1 스칼라

스칼라는 단일 데이터 또는 원소를 나타내며, 0차원입니다.

1.2 벡터

벡터는 여러 스칼라를 모아서 구성된 1차원 데이터 집합입니다.

1.3 행렬

행렬은 여러 벡터를 모아 구성된 2차원 데이터 집합입니다.

1.4 기타 다차원 배열

일반적으로 딥러닝에서는 4차원 배열이 자주 사용됩니다. 예를 들어 RGB 이미지 데이터셋을 표현할 때 유용합니다.

2. 배열 생성

  • 배열의 형태 (shape)
  • 원소의 데이터 타입
  • 각 원소의 실제 값

3. 원소 접근


# 2차원 배열에 대한 원소 접근 방법
element = array[1, 2]         # 특정 위치의 원소 접근
row = array[1, :]             # 특정 행의 모든 원소 접근
column = array[:, 1]          # 특정 열의 모든 원소 접근
subregion = array[1:3, 1:]   # 부분 영역 접근
stride = array[::3, ::2]     # 정해진 간격으로 접근

4. 데이터 조작

PyTorch 라이브러리를 활용한 데이터 조작 예제입니다.


import torch

# 기본 텐서 생성 및 조작
tensor = torch.arange(12)              # 1차원 벡터 생성
print(tensor.shape)                    # 벡터의 크기 출력
print(tensor.numel())                 # 전체 원소 수 확인
reshaped_tensor = tensor.reshape(3, 4)  # 차원 변경

# 초기화된 텐서 생성
zeros_tensor = torch.zeros((2, 3, 4))  # 0으로 채워진 텐서
ones_tensor = torch.ones((3, 4, 5))    # 1로 채워진 텐서
custom_tensor = torch.tensor([[2, 1, 3, 2], [4, 5, 3, 5]])  # 직접 값 지정

# 산술 연산
a = torch.tensor([1, 2, 3, 4])
b = torch.tensor([2, 2, 2, 2])
result = a + b, a - b, a * b, a / b, a ** b  # 원소별 연산

# 텐서 결합
c = torch.arange(12, dtype=torch.float32).reshape(3, 4)
d = torch.tensor([[2, 3, 4, 5], [1, 2, 3, 4], [2, 4, 5, 6]])
concat_row = torch.cat((c, d), dim=0)  # 행 방향 결합
concat_col = torch.cat((c, d), dim=1)  # 열 방향 결합

# 논리 연산
comparison = c == d

# 합계 계산
total_sum = c.sum()

# 방송 연산
e = torch.arange(3).reshape(3, 1)
f = torch.arange(2).reshape(1, 2)
broadcast_result = e + f  # 자동 크기 조정 후 연산

5. 데이터 전처리

Pandas 라이브러리를 활용한 데이터 전처리 방법입니다.


import pandas as pd
import os

# CSV 파일 생성 및 로드
data_file = os.path.join('..', 'data', 'house_tiny.csv')
with open(data_file, 'w') as f:
    f.write('NumRooms,Alley,Price\n')  # 컬럼명 작성
    f.write('NA,Pave,127500\n')       # 각 줄은 하나의 데이터 샘플
    f.write('2,NA,106000\n')
    f.write('2,NA,178100\n')
    f.write('NA,NA,140000\n')

data = pd.read_csv(data_file)

# 결측치 처리
data.fillna(data.mean(), inplace=True)  # 평균값으로 대체
data = pd.get_dummies(data, dummy_na=True)  # 카테고리형 변수 처리

# PyTorch 텐서로 변환
x = torch.tensor(data.iloc[:, :-1].values, dtype=torch.float32)  # 입력 데이터
y = torch.tensor(data.iloc[:, -1].values, dtype=torch.float32)   # 출력 데이터

태그: PyTorch pandas data-preprocessing

10월 21일 23:58에 게시됨