딥러닝 컴파일러의 새로운 패러다임: 탐색 기반 최적화
딥러닝 프레임워크의 발전 과정에서 성능 최적화는 항상 핵심적인 과제였습니다. PyTorch나 TensorFlow와 같은 기존 프레임워크는 전문가가 직접 작성한 고성능 커널에 크게 의존합니다. 하지만 이러한 수동 방식은 하드웨어 아키텍처가 다양해짐에 따라 유지보수 비용이 급증하고 최적의 성능을 보장하기 어렵다는 한계가 있습니다. Luminal은 이러한 문제를 해결하기 위해 탐색 기반 컴파일(Search-based Compilation) 방식을 도입했습니다. 이는 계산 그래프의 방대한 최적화 공간을 자동 탐색하여 최적의 실행 전략을 찾아내는 혁신적인 접근법입니다.
Luminal은 단순한 패턴 매칭을 넘어, 인간 엔지니어가 미처 발견하지 못한 복잡한 최적화 지점까지 찾아낼 수 있도록 설계되었습니다. 특히 Flash Attention과 같은 고난도 최적화 기법을 자동으로 도출해내는 과정은 이 프레임워크의 강력함을 증명합니다.
RISC 설계 철학에 기반한 연산 원어
Luminal의 핵심 설계 철학은 연산 세트를 최소화하는 것입니다. 복잡한 수백 개의 연산 대신, 단 12개의 기초적인 연산 원어(Primitives)만을 사용하여 모든 신경망을 구성합니다.
// 단항 연산 (Unary)
Log2, Exp2, Sin, Sqrt, Recip
// 이항 연산 (Binary)
Add, Mul, Mod, LessThan
// 기타 연산 (Reduction & Memory)
SumReduce, MaxReduce, Contiguous
이러한 RISC(精簡指令集) 스타일의 설계는 컴파일러가 소수의 핵심 연산에만 집중하여 최적화를 수행할 수 있게 합니다. 행렬 곱셈이나 컨볼루션 같은 고수준 연산은 모두 이 기초 연산들의 조합으로 분해됩니다.
정적 계산 그래프의 구현
Luminal은 모든 연산을 지연 실행(Lazy Execution)하는 정적 계산 그래프 방식을 채택합니다.
use luminal::prelude::*;
let mut ctx = Graph::new();
let tensor_a = ctx.tensor((2, 1)).set([[5.0], [10.0]]);
let tensor_b = ctx.tensor((1, 3)).set([[1.0, 2.0, 3.0]]);
// 행렬 곱셈 수행 및 결과 선언
let mut output = tensor_a.matmul(tensor_b).retrieve();
// 컴파일 및 하드웨어 실행
ctx.compile(<(GenericCompiler, CPUCompiler)>::default(), &mut output);
ctx.execute();
탐색 공간 구축 및 Egglog 시스템
Luminal은 최적화 규칙을 정의하기 위해 등식 논리 프로그래밍 시스템인 Egglog를 활용합니다. 이를 통해 계산 그래프를 논리적으로 동등하면서도 성능이 뛰어난 형태로 변환합니다.
루프 변환 및 규칙 예시
다음은 루프 융합 및 분할을 정의하는 최적화 규칙의 논리적 예시입니다.
; 루프 병합 규칙 예시
(rewrite (LoopIn (LoopOut ?data ?itr ?stride) ?itr ?stride) ?data)
; 루프 분할 및 최적화 규칙
(rewrite
(LoopOut (UnaryOp ?op (LoopIn ?data (Loop ?idx (MNum ?size)) ?step))
(Loop ?idx (MNum ?size)) ?step)
(LoopOut
(LoopOut
(UnaryOp ?op
(LoopIn
(LoopIn ?data (Loop ?idx (MNum (/ ?size factor)))
(MUpdate ?step (MVar "v") (MMul (MVar "v") (MNum factor))))
(Loop (+ ?idx "Sub") (MNum factor)) ?step))
(Loop (+ ?idx "Sub") (MNum factor)) ?step)
(Loop ?idx (MNum (/ ?size factor)))
(MUpdate ?step (MVar "v") (MMul (MVar "v") (MNum factor))))
:when ((> ?size factor) (= (% ?size factor) 0))
)
Flash Attention의 자동 발견 과정
표준적인 Attention 메커니즘은 $QK^T$ 계산, Softmax 적용, 그리고 $V$와의 곱셈이라는 여러 단계를 거칩니다. 이 과정에서 발생하는 대규모 중간 데이터의 메모리 읽기/쓰기가 성능 병목의 주원인입니다.
Luminal은 다음과 같은 단계를 거쳐 Flash Attention 최적화를 스스로 찾아냅니다.
- 그래프 분해: 표준 Attention 연산을 최소 단위의 기초 연산으로 쪼갭니다.
- 온라인 Softmax 적용: 전체 행렬을 생성하지 않고도 Softmax를 계산할 수 있는 최적화 규칙을 자동으로 적용합니다.
- 커널 융합(Kernel Fusion): 쪼개진 연산들을 하나의 하드웨어 커널로 다시 통합하여 메모리 접근을 극도로 제한합니다.
// 자동 생성된 최적화 커널 구조의 의사 코드
kernel void optimized_attention_kernel(
device float* query [[buffer(0)]],
device float* key [[buffer(1)]],
device float* value [[buffer(2)]],
device float* out [[buffer(3)]]
) {
// 1. 메모리 타일링(Tiling) 수행
// 2. 온라인 Softmax를 통한 통계량 업데이트
// 3. 중간 결과 저장 없이 가중치 합산 계산
// 4. 공유 메모리 활용을 통한 데이터 지역성 극대화
}
최적화 전략 및 하드웨어 가속
Luminal은 비용 모델(Cost Model)을 기반으로 한 휴리스틱 탐색 알고리즘을 사용합니다.
| 최적화 차원 | 주요 전략 | 성능 지표 |
|---|---|---|
| 계산 효율 | 연산 수 감소 및 대수적 변환 | FLOPs 절감 |
| 메모리 효율 | 대역폭 사용량 최소화 및 융합 | 메모리 트래픽 감소 |
| 병렬성 | 하드웨어 스레드 배치 최적화 | GPU 점유율(Occupancy) |
| 데이터 지역성 | 캐시 계층 구조 최적화 | L1/L2 캐시 적중률 |
이러한 과정을 통해 Luminal은 NVIDIA CUDA, Apple Metal, 그리고 범용 CPU 환경에서 각 하드웨어의 특성에 맞는 전용 커널을 생성합니다. 특히 Apple Silicon 환경에서 Metal 셰이더를 자동 생성하여 기존 프레임워크 대비 비약적인 성능 향상을 보여줍니다.
확장성 및 범용적 적용
Luminal의 자동 탐색 기법은 단순한 Attention 최적화에 그치지 않습니다. 다음과 같은 영역으로 확장 가능합니다.
- 컨볼루션 최적화: Winograd 알고리즘과 같은 복잡한 연산을 자동 발견.
- 데이터 레이아웃 변환: 하드웨어에 최적화된 텐서 배치(Layout) 자동 조정.
- 사용자 정의 연산: 개발자가 직접 정의한 특수 연산에 대해서도 동일한 컴파일 최적화 혜택 적용.
이 프레임워크는 개발자가 하드웨어의 하부 구조를 깊이 이해하지 못하더라도, 고수준의 모델 정의만으로 최상의 성능을 끌어낼 수 있게 돕습니다. 이는 딥러닝 최적화가 더 이상 전문가만의 영역이 아닌, 자동화된 시스템의 영역으로 이동하고 있음을 보여줍니다.