Spark SQL에서 Hive 메타스토어 연결 설정 방법
Hive 메타스토어를 사용하는 Spark SQL 환경 구성
Spark SQL을 통해 Hive 테이블에 접근하려면 Spark가 Hive의 메타데이터 저장소(Metastore)에 연결할 수 있도록 설정해야 한다. 이를 위해 MySQL 기반의 Hive Metastore와 Spark 간의 연동을 구성하는 절차를 설명한다.
1. MySQL에 Hive 메타스토어 데이터베이스 생성
Hive가 테이블 스키마 및 파티션 정보를 저장할 수 ...
5월 31일 23:10에 게시됨
Apache Spark에서 RDD, DataFrame, Dataset 변환 방법
DataFrame와 RDD 상호작용
공식 문서: https://spark.apache.org/docs/2.2.1/sql-programming-guide.html
1. DataFrame와 RDD 상호작용 - 반사 방법 (RDD ⇒ DataFrame)
① 샘플 클래스 생성, ② toDF() 메소드 호출
package com.spark.example
import org.apache.spark.sql.SparkSession
/**
* DataFrame과 RDD의 상호작용 예제
*/
object SparkDataConversion {
def main(ar ...
5월 23일 05:21에 게시됨