spark-Spark Architecture

원본 : https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-architecture.html

Spark Architecture

spark는 master/worker 구조를 사용한다. 

master라 불리며, 싱글 coordinator로 불리는 driver는 executor가 동작하는 worker들을 관리한다.

 

그림1. 스파크 구조

driver와 executor들은 그들 자신의 자바 프로세스에서 동작한다. 

당신은 모두 같은 곳(수평적 클러스터) 나 분산된 머신(수직적 클러스터)나 혼합된 머신구성에서 그것들을 동작시킬 수 있다. 

물리적 기계는 hosts나 nodes라고 불린다.

그림2. 상세한 스파크 구조