Spark and Spark Streaming Unit Testing

원문 해석 : http://mkuthan.github.io/blog/2015/03/01/spark-unit-testing/

Spark and Spark Streaming Unit Testing

당신이 분산시스템을 만들때, 그것을 테스트하기 쉽게 만드는 것은 중대한일이다. 당신의 IDE에서 완벽하게, 통제되는 환경에서 테스트를 실행해봐라. 복잡한 시스템의 긴 개발-테스트-개발 사이클은 당신의 생산성을 없앨 것이다. 아래글에서 당신은 spark 와 Spark Streaming applications에 대한 나의 테스트 전략을 볼 수 있다. 

Unit or integration tests, that is the question

우리의 가상 spark application은 apache kafka로부터 데이터를 받는다. RDDs와 DStreams를 이용하여 변환을 하고, 카산드라 나 elastic 검색 데이터베이스로 결과들을 넣는다. 생산 중에 spark application은 YARN 이나 Mesos 클러스트에 배포되어지고, 모든 것은 ZooKeeper에 붙여진다. the stream processing의 큰 그림은 아래에 그려져있다. 

변경되는 많은 부분은 테스트와 설정이 쉽지 않다. 심지어 vargant, Docker와 Ansible 로 시행된 자동화 설정도 쉽지 않다.