RISC-V 벡터 확장 기반 FeNN-DMA 아키텍처 및 SNN 가속 기술 분석

1. FeNN-DMA 아키텍처 개요

FeNN-DMA는 RISC-V 명령어 집합 아키텍처(ISA)를 확장하여 스파이킹 신경망(SNN, Spiking Neural Networks) 처리에 최적화한 시스템 온 칩(SoC) 설계입니다. 이 아키텍처는 프로그래밍 가능한 프로세서의 유연성과 전용 가속기의 고성능이라는 두 마리 토끼를 잡기 위해 설계되었습니다.

1.1 설계 철학 및 하드웨어 구성

기존의 SNN 가속기는 특정 신경망 모델에 고정된 하드웨어 구조를 가져 범용성이 떨어지는 경우가 많았습니다. FeNN-DMA는 이를 극복하기 위해 다음과 같은 세 가지 핵심 설계 요소를 도입했습니다.
  • 커스텀 벡터 코프로세서(VEC): 표준 RISC-V 스칼라 코어(CV32E40X)에 32개 레인을 갖춘 512비트 폭의 벡터 유닛을 결합했습니다. 이를 통해 다수의 뉴런 상태를 동시에 업데이트하면서 복잡한 제어 흐름을 유연하게 처리할 수 있습니다.
  • 계층적 메모리 구조: 고용량 처리를 위해 URAM(Ultra RAM) 기반의 벡터 메모리(코어당 288KB)와 레인별 독립적인 BRAM(18KB)을 혼합 배치했습니다. 이는 SNN 특유의 희소 연결(Sparse Connectivity) 패턴에서 발생하는 불규칙한 메모리 접근을 효율적으로 지원합니다.
  • 지능형 DMA 엔진: 더블 버퍼링 기법을 지원하는 전용 DMA를 통해 외부 DDR4 메모리(4GB)와의 데이터 전송 지연을 계산 시간 뒤로 숨깁니다. 실측 결과 최대 4.9GB/s의 대역폭을 확보하여 고밀도 시냅스 연산 부하를 견뎌냅니다.

1.2 시스템 통합 구조

AMD Kria KV260 보드에 구현된 SoC 구조는 ARM Cortex-A53 호스트 프로세서와 AXI 상호 연결망을 통해 통신합니다. 호스트는 전체적인 태스크 스케줄링을 담당하며, 실제 신경망 연산은 가속기 코어 내의 스칼라 유닛과 벡터 유닛이 협업하여 수행하는 이기종 컴퓨팅 구조를 가집니다.

2. 핵심 하드웨어 혁신 분석

2.1 벡터 명령어 집합(ISA) 확장

FeNN-DMA는 SNN 연산 효율을 극대화하기 위해 약 30개의 전용 벡터 명령어를 추가했습니다.
2.1.1 뉴런 상태 업데이트 최적화
뉴런의 막전위(Membrane Potential)를 업데이트하는 LIF(Leaky Integrate-and-Fire) 모델 연산은 다음과 같은 형태로 벡터화됩니다.

// 뉴런 상태 업데이트 벡터화 의사코드
V_LOAD_MEM   v1, [ptr_state]    // 현재 막전위 로드
V_SCALE_DECAY v1, v1, coeff_a    // 감쇠 계수 적용 (Alpha)
V_ADD_INPUT  v1, v1, v_curr      // 입력 전류 합산
V_GET_SPIKE  m0, v1, v_thresh    // 임계값 비교 및 스파이크 마스크 생성
V_RESET_COND v1, m0, v_reset     // 스파이크 발생 시 상태 리셋
V_STORE_MEM  [ptr_state], v1    // 업데이트된 상태 저장
이 과정에서 16비트 고정 소수점(Fixed-point) 연산을 수행하며, 하드웨어 수준에서 포화 연산(Saturation)을 지원하여 수치적 오버플로를 방지합니다.
2.1.2 시냅스 처리 메커니즘
연결 방식에 따라 최적화된 세 가지 처리 모드를 제공합니다.
  1. 밀집 연결(Dense): 정렬된 벡터 로드를 통해 한 주기당 32개 시냅스 가중치를 병렬 처리합니다.
  2. 희소 연결(Sparse): 가중치와 대상 뉴런 인덱스를 묶어 저장하고, VANDADD 명령어를 통해 유효한 데이터만 골라 lane-local 메모리에 누적합니다.
  3. 지연 연결(Delayed): 각 레인 메모리에 링 버퍼(Ring Buffer) 형태의 지연 슬롯을 구성하여 비순시적 시냅스 전파를 모델링합니다.

2.2 메모리 서브시스템의 물리적 구현

벡터 데이터를 저장하는 URAM 뱅크는 512비트 대역폭을 제공하도록 병렬로 구성됩니다. FPGA 리소스를 효율적으로 활용하기 위해 다음과 같은 구조로 생성됩니다.

// URAM 뱅크 생성 로직 예시 (Verilog)
for (genvar k = 0; k < 8; k++) begin : mem_bank_gen
    URAM288K #(
        .DATA_WIDTH(64), 
        .REG_CORE(1)
    ) v_mem_inst (
        .CLK(sys_clk),
        .ADDR_A(bank_addr_a[k]), .DIN_A(bank_data_in[k]),
        .ADDR_B(bank_addr_b[k]), .DOUT_B(bank_data_out[k]),
        .WE_A(bank_we[k])
    );
end

3. 소프트웨어 프레임워크 및 프로그래밍 모델

3.1 PyFeNN 툴체인

사용자는 고수준 언어인 Python을 통해 신경망을 정의할 수 있습니다. PyFeNN은 정의된 모델을 분석하여 최적화된 RISC-V 바이너리를 생성합니다.

# PyFeNN을 이용한 뉴런 정의 예시
class CustomLIF(NeuronNode):
    def __init__(self, size, decay_rate, threshold):
        self.state_v = StateVar(size, type="s9_6_fixed")
        self.logic = """
            V = (decay * V) + Input_Current;
            if(V > th) {
                EmitSpike();
                V = V - th;
            }
        """
        self.compile(params={"decay": decay_rate, "th": threshold})
컴파일러는 추상 구문 트리(AST)를 생성한 후, 메모리 할당기와 명령어 스케줄러를 거쳐 파이프라인 스톨(Stall)을 최소화하는 하위 코드를 출력합니다.

4. 성능 평가 및 벤치마크 데이터

4.1 FPGA 리소스 점유율

AMD UltraScale+ FPGA상에서의 단일 코어 및 듀얼 코어 구현 결과입니다.
구성 LUT FF BRAM URAM 클록(MHz)
Single-Core 54,984 47,759 66 16 175
Dual-Core 98,712 85,430 132 32 143

4.2 연산 성능 및 정확도

주요 데이터셋에 대한 벤치마크 결과는 다음과 같습니다.
  • SHD(Spiking Heidelberg Digits): 가중치 지연 학습 기능을 통해 90.32%의 정확도를 달성했습니다.
  • 처리량(Throughput): 밀집 연결 시 약 0.92 GSOP/s(Giga Synaptic Operations per second)를 기록했으며, 희소 연결 모드에서는 유효 연산 기준 2.1 GSOP/s까지 상승합니다.
  • 에너지 효율: 단일 코어 기준 약 0.53W의 동적 소모 전력을 보이며, 이는 범용 CPU 대비 수십 배 이상의 에너지 효율을 나타냅니다.

5. 하드웨어 배포 및 최적화 전략

5.1 실행 성능 최적화 기법

  1. 메모리 정렬: DMA 전송 효율을 극대화하기 위해 모든 가중치 블록을 64바이트 경계에 정렬합니다.
  2. 명령어 인터리빙: 데이터 로드 명령어와 연산 명령어 사이에 의존성이 없는 다른 연산을 배치하여 파이프라인 지연을 방지합니다.
  3. 랜덤 라운딩(Stochastic Rounding): 하드웨어 난수 생성기(VRNG)를 활용해 고정 소수점 하위 비트를 처리함으로써 학습 및 추론 시의 양자화 오차를 줄입니다.

5.2 시스템 문제 해결(Troubleshooting)

  • 전송 병목 현상: AXI Interconnect의 중재 우선순위를 조정하거나 DMA의 버스트 길이를 최적화하여 해결할 수 있습니다.
  • 타이밍 위반: 벡터 레지스터 파일의 경로가 길어질 경우, 중간에 파이프라인 스테이지를 추가하여 클록 주파수를 유지합니다.
  • 정확도 저하: 막전위 연산 시 비트 폭을 s7.8 또는 s9.6으로 동적으로 조정하여 동적 범위를 확보합니다.

태그: RISC-V SNN DMA FPGA Computer Architecture

10월 17일 19:25에 게시됨