spark-SparkContext

원문 : https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-sparkcontext.html

SparkContext — Entry Point to Spark (Core)

sparkContext는 spark 어플리케이션을 위한 스파크 진입점이다. 

note. sparkContext 인스턴스는 spark 어플리케이션이다.

sparkContext는 내부 서비스들이 설정되고, 스파크 실행 환경에 연결이 완료된다. 

sparkContext 인스턴스가 생성되면, sparkContext를 RDD들, accumulator들과 broadcast 변수들을 생성하는것과 spark 서비스에 접근, job들을 실행하는데 이용한다.

sparkContext는 근본적으로 스파크의 실행환경의 클라이언트다. 당신의 spark 어플리케이션의 마스터로써 동작한다.

(스파크의 Master(cluster Manager)와는 혼동하지 마시길!)

Figure 1. Spark context acts as the master of your Spark application