Spark RDD 변환 연산
inputFile = r'C:\Data\sample.txt'
rddData = sparkContext.textFile(inputFile)
rddData.flatMap(lambda x: x.split()).map(lambda x: (x, 1)).reduceByKey(lambda a, b: a+b)
2. RDD 생성
(1) 컬렉션 데이터에서 RDD 생성
numbers = [10, 20, 30, 40, 50]
baseRDD1 = sc.parallelize(numbers)
baseRDD2 = sc.parallelize(numbers, 3)
baseRDD2.count()
반복(Iteration ...
7월 6일 21:35에 게시됨