PySpark 기반 LDA 구현: 대규모 스트 주제 분석

대규모 사용자 리뷰 데이터에서 잠재적 주제를 추출하기 위해 PySpark와 LDA(Latent Dirichlet Allocation)를 결합한 파이프라인을 구축한다. 이 글에서는 분산 환경에서의 텍스트 전처리, 모델 훈련, 결과 해석 전 과정을 다룬다. SparkSession 초기화 YARN 클스터에 연결하고 Hive 메타스토어를 활용하는 세션을 생성한다. 원격 Python 환경 경로를 명시하여 노드 간 ...

10월 1일 22:03에 게시됨

PySpark 기초 실습 및 RDD 활용

PySpark에서 Spark 작업 환경을 초기화하고 버전 정보를 확인하는 방법은 다음과 같습니다. # 필요한 모듈 가져오기 from pyspark import SparkConf, SparkContext # Spark 설정 객체 생성 config = SparkConf().setMaster("local[*]").setAppName("example_app") # SparkContext 생성 context = SparkContext(conf=config) # 현재 PySpark 버전 출력 print(context.ver ...

6월 6일 20:05에 게시됨