Practical Spark – Architecture (4)

Practical 시리즈는 AWS 환경 위에서 데이터 인프라를 구축하는데 참고할만한 내용들을 담고 있습니다. 이 글은 그 중 Practical Spark 의 한 챕터입니다.

이번 챕터에서는 Spark 내 구성 요소와 Architecture 에 대해 익혀보며 Spark 가 어떻게 동작하는지 알아보겠습니다. 다루는 주제는 Driver, Executor, Cluster Manager 입니다.

AWS EMR 을 Terraform 으로 관리할 때 도움되는 몇 가지 팁들

(이미지 - https://aws.amazon.com/emr/features) AWS EMR 은 정말 좋은 툴입니다. (가격만 안비싸고 좀만 더 빨리 뜨면) 버튼 눌러서 쉽게 만들 수 있고 Spark, Presto, Flink 등 설치된 클러스터에 필요한 Job 만 던지면 되고 Zeppelin, Jupyter 등 탐색을 위한 도구도 바로 사용할 수 있습니다. 늘 그렇듯이 해보니 된다 != Production Ready 가 아니므로 실제로 서비스에 활용 하려면 … Continue reading AWS EMR 을 Terraform 으로 관리할 때 도움되는 몇 가지 팁들