Spark 대량로드(HFile) 에러 및 해결 방법
문제 및 배경
HDFS에 존재하는 데이터를 분석하여 HBase에 HFile 형식으로 대량 쓰기 작업을 수행하는 과정에서 발생하는 에러 및 그 해결 방법을 설명합니다. 이 작업은 여러 열을 한 번에 쓰는 방식으로 진행됩니다.
주요 API
RDD를 통해 HFile로 저장하는 주요 API는 다음과 같습니다:
rdd.saveAsNewAPIHadoopFile(
stagingFolder,
classOf[ImmutableBytesWri ...
7월 27일 13:25에 게시됨