AI 및 딥러닝 프레임워크인 PyTorch를 처음 접할 때, "텐서(Tensor)"라는 개념은 핵심적인 이해 대상입니다.

PyTorch의 텐서는 Java에서 다차원 배열을 다루는 것과 유사하지만, 단순한 데이터 저장을 넘어 고성능 연산과 자동 미분 기능까지 갖추고 있어 딥러닝 분야에서 강력합니다.

1. 텐서와 Java 배열/리스트 비교

• Java 배열 및 리스트: Java에서는 int[], List<String> 등으로 데이터를 저장합니다. 이들은 기본적으로 동일 타입의 값을 일렬로 보관하는 데 사용됩니다.
• PyTorch 텐서: 텐서도 수치 데이터를 저장하지만, 다음과 같은 다양한 형태를 가질 수 있습니다:
  • 스칼라: 하나의 숫자 (5, 3.14)
  • 벡터: 1차원 배열 ([1, 2, 3])
  • 행렬: 2차원 배열 ([[1,2],[3,4]])
  • n차원 텐서: 이미지나 비디오와 같이 복잡한 구조를 표현할 수 있음

2. 텐서란 무엇인가?

텐서는 스칼라, 벡터, 행렬을 일반화한 다차원 배열입니다. PyTorch에서는 신경망의 입력, 출력, 파라미터 등을 모두 텐서로 표현하며, 딥러닝의 근간이 됩니다.

3. 텐서의 차원(Dimensions)

텐서의 차원은 축(axis) 또는 순위(rank)라고도 하며, 데이터 구조를 결정짓습니다.

• 0차원 텐서 (스칼라):

  scalar_val = torch.tensor(42)
  print(scalar_val.dim())  # 결과: 0
  

• 1차원 텐서 (벡터):

  vector_data = torch.tensor([10, 20, 30])
  print(vector_data.dim())   # 결과: 1
  print(vector_data.size())  # 결과: torch.Size([3])
  

• 2차원 텐서 (행렬):

  matrix_vals = torch.tensor([[1, 2], [3, 4]])
  print(matrix_vals.dim())   # 결과: 2
  print(matrix_vals.size())  # 결과: torch.Size([2, 2])
  

• 3차원 이상 텐서:

  volume_tensor = torch.randn(2, 3, 4)  # 2개의 3x4 행렬 묶음
  print(volume_tensor.dim())             # 결과: 3
  print(volume_tensor.size())            # 결과: torch.Size([2, 3, 4])
  

4. 텐서의 데이터 타입(Data Type)

Java의 int, float, double처럼 PyTorch 텐서도 여러 가지 데이터 타입을 지원합니다:

• torch.float32: 단정밀도 실수 (기본값)
• torch.float64: 배정밀도 실수
• torch.int32, torch.int64: 정수형
• torch.bool: 불리언
• torch.uint8: 8비트 부호 없는 정수

예시 코드:

data_tensor = torch.tensor([1, 2, 3], dtype=torch.int64)
print(data_tensor.dtype)  # 결과: torch.int64

5. GPU 가속 활용

PyTorch 텐서의 가장 큰 장점 중 하나는 GPU에서 실행 가능한 점입니다. Java의 배열은 CPU에서만 처리되지만, PyTorch는 .cuda() 또는 .to('cuda')를 통해 쉽게 GPU로 전송할 수 있습니다.

device = 'cuda' if torch.cuda.is_available() else 'cpu'
gpu_tensor = torch.tensor([1., 2., 3.]).to(device)

이는 대규모 행렬 연산이 필요한 딥러닝 모델에서 성능을 비약적으로 향상시킵니다.

6. 딥러닝에서의 텐서 활용 예

• 가중치와 바이어스: 각 레이어의 파라미터는 텐서로 관리됩니다.
• 입력 데이터: 이미지는 RGB 채널을 포함한 3D 텐서로 표현됩니다.
• 활성화 값: 네트워크 내부 노드들의 출력도 텐서입니다.
• 그래디언트: 역전파 과정에서 계산된 변화율 또한 텐서로 저장되어 파라미터 업데이트에 사용됩니다.

7. 요약

• PyTorch 텐서는 고속 연산, 자동 미분, GPU 가속이라는 특성을 갖춘 다차원 배열입니다.
• Java 개발자는 이를 확장된 버전의 배열이나 리스트로 간편하게 접근할 수 있습니다.
• 딥러닝을 배우기 위해서는 텐서의 차원, 타입, 그리고 GPU 연산 원리를 반드시 익혀야 합니다.