Spark MLlib을 활용한 기초 통계 및 데이터 분석
1. 요약 통계 (Summary Statistics)
Spark MLlib은 RDD[Vector] 형태의 데이터에 대해 열 단위의 요약 통계 기능을 제공합니다. 이를 위해 Statistics 클래스의 colStats 메서드를 사용하며, 이 메서드는 각 컬럼의 최대값, 최소값, 평균, 분산 등을 포함하는 MultivariateStatisticalSummary 객체를 반환합니다.
import org.apache.spark.mllib.linalg.Vector
import org ...
7월 11일 22:37에 게시됨