꿈으로 가는 길 꿈으로 가는 길

원문 해석 : http://mkuthan.github.io/blog/2015/03/01/spark-unit-testing/Spark and Spark Streaming Unit Testing 당신이 분산시스템을 만들때, 그것을 테스트하기 쉽게 만드는 것은 중대한일이다. 당신의 IDE에서 완벽하게, 통제되는 환경에서 테스트를 실행해봐라. 복잡한 시스템의 긴 개발-테스트-개발 사이클은 당신의 생산성을 없앨 것이다. 아래글에서 당신은 spark 와 Spark Streaming applications에 대한 나의 테스트 전략을 볼 수 있다. Unit or integration tests, that is the question우리의 가상 spark application은 apache kafka로부터 데이터를 받는..

스파크 본문 내용 번역 : http://spark.apache.org/docs/latest/submitting-applications.html작성중 Application들 보내기spark-submit 스크립트는 Spark의 bin 디렉토리에 있다. 이 스크립트는 cluster에서 application을 실행할때 사용된다.이것은 공통된 인터페이스를 통해 cluster managers를 지원하는 Spark의 모든곳에서 사용된다. (cluster manager : Standalone, mesos, yarn)그래서 당신은 각 서버에서 특별하게 당신의 application을 구성할 필요가 없다. Application의 의존성 묶기만약 당신의 코드가 다른 프로젝트들을 의존하고 있다면, Spark Cluster에 코..

Apache Flume - 1.6.0 Guide System Requirements1. java 환경 - 자바 1.6 or 그 이상 ( 1.7 권장 )2. 메모리 - Source, Channel, Sink들로 구성된 충분한 메모리3. 디스크 용량 - channel, sink들로 구성된 충분한 디스크 용량4. 폴더 권한 - agent가 사용하는 디렉토리는 읽기/쓰기 권한이 필요 구조Data Flow Model- flume event : 데이타 흐름의 하나. SetUp(설치)1. agent 설치하기flume agent 구성은 로컬 구성 파일에 저장된다. 이것은 텍스트 파일이고 자바 properties 파일 포맷을 따른다. 한개 또는 그이상의 agent 구성은 하나의 configuration 파일에 명시된다...

왜 빅데이터가 이슈가 되고 있을까? - 원문