Tags

하둡 클러스터를 관리하는 방법 (Apache Ambari: Provision, Manage and Monitor Hadoop)

This article is based on Hortonworks Blog

하둡이 가진 기술적인 측면의 철학과 비즈니스 측면의 효율성에 대해서는 많은 기업들에게 당연한 것으로 받아들여 지고 있습니다.
올해를 기점으로 점차 메인스트림(Main Stream)에서 통합 데이터 처리 플랫폼의 좋은 옵션의 위치에 올라서고 있다는 생각입니다.

하지만 역시 하둡 시스템도 기존의 IT 시스템과 마찬가지로 운영의 편리성 측면이 메인스트림으로 발돋움하는 데 있어서 가장 큰 걸림돌이 되고 있다는 지적도 많이 나오고 있습니다.

하둡 클러스터의 크기가 커지고 더 다양한 데이터 소스를 처리하게 되면서 이러한 하둡 전체 시스템을 한 곳에서 효율적으로 관리하고 모니터링하는 운영 효율성 측면도 많이 검토되고 있습니다.
그리고 하둡 에코시스템이 점차 복잡해짐에 따라서 이 모듈들을 한 곳에서 관리하기 위한 니즈도 점차 커지고 있습니다.

하둡 에코시스템의 해결책은 암바리(Ambari)라고 하는 아파치에서 오픈 소스로 개발되고 있는 관리툴입니다.

아파치 암바리(Ambari) 프로젝트 <-- 클릭.

암바리(Ambari)는 하둡 클러스터에서 각 시스템 리소스를 관리하고 모니터하는 운영 프레임워크(Framework)입니다.
( Ambari 1.4.1 is a single framework to provision, manage and monitor clusters based on the Hadoop 2 stack, with YARN and NameNode HA on HDFS.)

아래 영상은 어떻게 암바리가 동작하고 어떤 점이 혁신적인지에 대해서, 그리고 향후 암바리의 로드맵(Roadmap)에 대해서 알기 쉽게 소개하고 있습니다.

주요 내용은 다음과 같습니다.
1. 암바리(Ambari)가 도입되기 전에는 하둡 클러스트를 관리할 때 어떤 문제들이 있었는지.
2. 암바리의 두 가지 중요한 유스케이스
3. 암바리와 YARN(Yet Another Resource Negotiator)과의 관계
4. 암바리를 통해서 네임노드(Name Node)의 가용성(High Availability)을 높히는 방법
5. 향후 로드맵에 대한 개요

———————————————————————————————————–
ASD Technologies는 호튼웍스(Hortonworks Inc)와의 Consulting Partnership을 통해서
빅데이터에 대한 도입 컨설팅 및 구축을 도와드리고 있습니다.

호튼웍스 파트너 홈페이지
ASD Technologies Korea 홈페이지

Contact Point : sunung@asdtech.co
———————————————————————————————————–