PySpark 기반 LDA 구현: 대규모 스트 주제 분석
대규모 사용자 리뷰 데이터에서 잠재적 주제를 추출하기 위해 PySpark와 LDA(Latent Dirichlet Allocation)를 결합한 파이프라인을 구축한다. 이 글에서는 분산 환경에서의 텍스트 전처리, 모델 훈련, 결과 해석 전 과정을 다룬다.
SparkSession 초기화
YARN 클스터에 연결하고 Hive 메타스토어를 활용하는 세션을 생성한다. 원격 Python 환경 경로를 명시하여 노드 간 ...
10월 1일 22:03에 게시됨
PySpark 기초 실습 및 RDD 활용
PySpark에서 Spark 작업 환경을 초기화하고 버전 정보를 확인하는 방법은 다음과 같습니다.
# 필요한 모듈 가져오기
from pyspark import SparkConf, SparkContext
# Spark 설정 객체 생성
config = SparkConf().setMaster("local[*]").setAppName("example_app")
# SparkContext 생성
context = SparkContext(conf=config)
# 현재 PySpark 버전 출력
print(context.ver ...
6월 6일 20:05에 게시됨