Luminal을 통한 최적화 탐색 공간 구축 및 Flash Attention의 자동 발견
딥러닝 컴파일러의 새로운 패러다임: 탐색 기반 최적화
딥러닝 프레임워크의 발전 과정에서 성능 최적화는 항상 핵심적인 과제였습니다. PyTorch나 TensorFlow와 같은 기존 프레임워크는 전문가가 직접 작성한 고성능 커널에 크게 의존합니다. 하지만 이러한 수동 방식은 하드웨어 아키텍처가 다양해짐에 따라 유지보수 비용이 급증하고 최적의 성능을 보장하기 어렵다는 ...
11월 3일 22:55에 게시됨