SAS 기반 순서형 계수 데이터 분석: 포아송 및 음이항 회귀 모델링 접근법

순서형 계수 데이터의 통계적 특성과 모델링 패러다임 전환

순서형 범주 변수(Ordered Categorical Variables)는 전통적으로 순서 로지스틱 회귀(S proportional Odds Model)를 통해 분석되어 왔다. 그러나 실제 비즈니스 및 연구 데이터에서 많은 순서형 변수가 근본적으로는 사건의 발생 횟수를 카테고리별로 그룹화한 결과인 경우가 많다. 예컨대 고객 만족도 점수, 증상 심각도 등급, 또는 특정 기간 내 불만 접수 건수 등이 해당된다. 이러한 데이터는名义 분류(Nominal)나 연속형 변수와 달리 이산적 성격을 지니며, 각 등급 간 거리가 반드시 동일하지 않을 수 있다. 순서 로지스틱 모델은 모든 임계값(threshold)에 동일한 기울기 계수가 적용된다고 가정하는 비례 오즈 가정을 충족해야 하나, 실제 계수 생성 과정에서는 잔차 분포가 Logistic을 따르지 않거나 임계값 간 효과가 일정하지 않아 모델 적합도가 저하되는 경향이 있다.

이러한 한계를 극복하기 위해, 순서형 레벨을 잠재적인 계수 과정(Latent Count Process)으로 재해석하고 Poisson 또는 Negative Binomial 회귀를 적용하는 방법이 제시되었다. 핵심 아이디어는 관측된等级 $k$가 내부적으로 발생 횟수 $Y^*$를 우측 절단(Right-truncation) 또는 그룹화함으로써 도출되었다고 가정하는 것이다. 예를 들어 5단계 만족도 평가가 본질적으로 0회, 1회, 2회, 3회, 4회 이상 발생 횟수를 반영한다면, Poisson 분포의 확률질량함수(PMF)를 통해 각等級의 발생 확률을 직접 추정할 수 있다. 이는 등급 간 상대적 거리 정보를 보존하면서도, 계수 데이터 특유의 과잉산산(Overdispersion) 문제를 명시적으로 다루는 장점을 제공한다.

분포 선택 전략: 과잉산산 검정 및 결정 기준

Poisson 모형은 등산산 가정($\text{Var}(Y) = \text{E}(Y)$)을 기반으로 하며, 실제 데이터가 이 가정을 크게 위배할 경우 계추정이 불안정해지고 표준오차가 과소평가된다. 이때 분산이 평균보다显著하게 큰 과잉산산 현상이 발생하며, Negative Binomial(NB) 모형이 대안으로 도입된다. NB 모형은 추가 분산 파라미터 $\alpha$(또는 $k$)를 포함하여 분산을 $\text{Var}(Y) = \mu + \alpha\mu^2$ 형태로 확장한다.

모형 선택은 사전 진단을 통해 체계적으로 수행되어야 한다.

  • Scale Parameter 확인: `PROC GENMOD`에서 Poisson 적합 후 산출되는 Pearson Chi-Square / DF 값이 1.2를 초과하면 과잉산산 가능성이 높다.
  • 잔차 패턴 분석: Pearson 잔차를 관측치 예측값에 대해 산점도화했을 때, 예측값 증가에 따라 잔차 분산이 확대되는 병목형(Band-shaped) 패턴이 관찰되면 NB 적합이 필수적이다.
  • AIC/BIC 비교 및 Wald 검정: 두 모형을 모두 적합 후 정보기준 비교한다. NB 모형의 정보기준이 Poisson 대비 5 이상 낮고, 분산계수 $\alpha$의 95% 신뢰구간이 0을 포함하지 않을 경우 NB를 최종 채택한다. 샘플 크기가 작아 $\alpha$ 추정의 표준오차가过大일 경우, Poisson에 Robust Standard Error(`REPEATED` 문)를 적용하는 것이 실용적이다.

SAS 프로그래밍 구현 워크플로우

데이터 전처리부터 모델 적합, 확률 복원까지의 표준 파이프라인을 구성한다. 순서형 라벨을 수치형 계수로 매핑하고, 우측 절단 여부를 마킹하는 과정이 선행되어야 한다.

/* 1. 데이터 전처리 및 계수 매핑 */
data work.count_base;
  set work.raw_survey;
  drop level_label;
  
  /* 순서형 레벨을 실제 계수값으로 변환 */
  num_count = level_label;
  is_censored = 0;
  
  /* 최상위 등급을 우측 절단 처리 */
  if level_label >= top_level then do;
    num_count = top_level - 1;
    is_censored = 1;
  end;
  
  /* 연속형 공변량은 중심화를 통해 수치 안정성 확보 */
  center_age = age - mean_age;
run;

/* 2. 포아송 회귀 모델 적합 */
proc genmod data=work.count_base;
  class region(ref='Standard');
  model event_count = center_age limit_amt region / dist=poisson link=log obstats;
  output out=work.poisson_fit xbeta=linear_pred;
  ods output ParameterEstimates=param_est_pois;
run;

/* 3. 음이항 모델 (NLMIXED를 통한 명시적 분산 추定) */
proc nlmixed data=work.count_base tech=quasi_newton;
  parms b_intercept=-0.5 b_age=0.02 b_lim=0.00001 disp_param=0.75;
  
  linear_pred = b_intercept + b_age*center_age + b_lim*limit_amt;
  expected_rate = exp(linear_pred);
  prob_success = disp_param / (disp_param + expected_rate);
  
  /* 우측 절단 데이터 처리: P(Y >= cutoff) = 1 - P(Y <= cutoff-1) */
  if is_censored = 1 then do;
    log_lik = log(1 - pdf('NEGBINOMIAL', 0, disp_param, prob_success)
                      - pdf('NEGBINOMIAL', 1, disp_param, prob_success)
                      - pdf('NEGBINOMIAL', 2, disp_param, prob_success)
                      - pdf('NEGBINOMIAL', 3, disp_param, prob_success));
  end;
  else do;
    log_lik = log(pdf('NEGBINOMIAL', event_count, disp_param, prob_success));
  end;
  
  model event_count ~ general(log_lik);
  ods output ParameterEstimates=param_est_nb;
run;

예측 확률 복원 및 모델 검증 프로토콜

모델 적합 완료 후, 선형 예측값($X\beta$)을 기대 계수($\mu$)로 변환하고 이를 각 관측等级的 발생 확률로 매핑해야 한다. 이 단계는 `DATA` 단계에서 확률함수를 직접 호출하여 수행된다.

/* 클래스별 발생 확률矩阵 생성 */
data work.class_probabilities;
  set work.poisson_fit;
  
  mu_val = exp(linear_pred);
  array cls_probs[5] p_lvl1-p_lvl5;
  
  /* Poisson 기반 확률 계산 */
  p_lvl1 = pdf('POISSON', 0, mu_val);
  p_lvl2 = pdf('POISSON', 1, mu_val);
  p_lvl3 = pdf('POISSON', 2, mu_val);
  p_lvl4 = pdf('POISSON', 3, mu_val);
  p_lvl5 = 1 - sum(of p_lvl1-p_lvl4);
  
  /* 합계 검증 (허용 오차 ±1e-6) */
  if abs(sum(of p_lvl1-p_lvl5) - 1) > 1e-6 then _error_;
run;

모델 신뢰도는 단일 지표가 아닌 다차원 검증 프레임워크로 평가한다.

검증 차원평가 방법적합 기준불합격 시 징후
내재적 적합도Pearson χ²/DF0.8 ~ 1.2잔차 패턴 왜곡, 과적합
보정(Calibration)예측 확률 구간별 관측 빈도 교차검증p-value > 0.05모델 예측치와 실제 분포 괴리
DiscriminationSomers' D / Gini 계수> 0.30등급 간 식별력 부재
파라미터 안정성부트스트랩(K=1000) 변동계수< 15%표본 민감도过高, 재현 불가

운영 환경 최적화 및 적용 한계

대규모 서베이 또는 트랜잭션 로그에서 본 기법을 적용할 경우, 프로세싱 효율과 시스템 호환성이 중요 이슈가 된다. 반복적인 `ODS OUTPUT` 호출과 불필요한 출력 객체는 I/O 부하를 가중시키므로, `ODS SELECT NONE` 또는 `PROC SQL` 기반 집계(Aggregation)를 통해 레코드 수를 압축한 후 적합하는 것이 권장된다. 메모리 할당이 제한된 서버 환경에서는 `-MEMSIZE` 파라미터 조정이나 `PROC HPGENSELECT` 같은 고속 알고리즘 모듈로의 전환이 성능 향상에 기여한다.

시스템 오류 대응 시 주요 경고 메시지로는 'Mean parameter must be positive'(선형 예측값 과대로 인한 지수함수 오버플로우), 'Hessian matrix singular'(공변량 다중공선성 또는 결측치 과다), 'Alpha near boundary'(과잉산산 미발생 시 NB 추론 불안정)가 흔하다. 이러한 경우 공변량 winsorizing, 기준 참조값 설정, 또는 Robust estimator 전환으로 격리할 수 있다. 또한 `PROC SCORE` 대신 `DATA` 단계에서 추정치를 직접 인플레이션하여 새 데이터셋에 점수화하는 방식이 배치 스코어링에서 더轻량且具有可控性이다.

본 접근법의 적용 한계는 명확히 정의되어야 한다. 순서형 변수 간 간격이 통계적으로 유의미하거나, 중도결손이 20% 이상이며, 공변량이 계수 발생에 대해 강한 비선형 상호작용을 보일 경우 추가적인 스플라인 항(Spline Terms) 또는 Multi-level Random Intercept 구조(`PROC GLIMMIX`) 도입이 필요하다. 반면, 순수 계수 생성 메커니즘을 유지하며等级을 정렬된 bins으로 투영하는 상황에서는 Poisson/NB 회귀가 순서 로지스틱 대비 해석 투명도와 예측 보정력에서 우위를 점한다. 생산 환경 배포 전에는 항상 동일한 SAS 버전과 라이브러리 구성에서 최종 코드 벤치마킹을 수행하여 함수 호환성(`pdf`, `cdf` 파라미터 순서 등)을 검증하는 절차가 필수적이다.

태그: SAS Poisson Regression Negative Binomial Model Ordinal Data Analysis Overdispersion Handling

10월 25일 13:22에 게시됨