Tags

제조업 분야에서의 하둡 아키텍쳐 (Modern Manufacturing Architectures Built with Hadoop from Hortonworks)

호튼웍스(Hortonworks Inc)에서 각 버티컬 영역 별로 적합한 아키텍쳐에 대해서 공개하는 단계입니다.

일전에 통신사의 하둡 아키텍쳐에 대한 블로그를 올렸는 데 그 이전에 제조업 분야의 유스케이스를 바탕으로 한 글입니다.
제조업 아키텍쳐의 핵심은 처리를 위한 데이터가 아주 다양한 형태를 가지고 있다는 점입니다.
다양한 센서(Sensor)에서 발생하는 이벤트와 같은 경우에는 실시간성으로 처리되는 비정형 데이터이지만
품질 관리 등을 위한 생산 관리 시스템 및 ERP 시스템에서 저장하는 데이터처럼 정형화된 데이터도 혼재하는 환경입니다.

이러한 다양한 데이터 소스를 처리하는 데 있어서 하둡이 가지고 있는 유연성이 가장 중요한 요소가 될 것입니다.
아래 그림에서 처럼 ETL(Extraction, Transformation and Load) 단계부터 비정형 데이터를 처리하는 툴이 적용이 되고
분석 전 단계에서도 실시간 처리를 위한 Storm이 유연하게 적용될 수 있습니다.

예를 들어, 스쿱(Sqoop)은 관계형 데이터베이스에서 데이터를 추출해서 하둡 파일 시스템(HDFS)나 관련 하둡 시스템으로 보내는 기능을 가지고 있어서 정형 데이터에 대한 ETL도 처리할 수 있습니다.
그 외 처리 방법에 있어서도 기존의 배치처리는 물론이고 HIVE를 통해서 원하는 결과를 바로 얻는 다든지
Storm을 이용해서 센서 등의 스트리밍 데이터를 처리하는 등과 같은 다양한 처리 방법을 유연하게 적용할 수 있습니다.

역시 YARN이라는 리소스 관리 플랫폼이 들어 오면서 본격적으로 하둡이 가진 통합 데이터 처리 시스템의 가능성이 커지고 있다는 느낌입니다.

———————————————————————————————————–
ASD Technologies는 호튼웍스(Hortonworks Inc)와의 Consulting Partnership을 통해서
빅데이터에 대한 도입 컨설팅 및 구축을 도와드리고 있습니다.

호튼웍스 파트너 홈페이지
ASD Technologies Korea 홈페이지

Contact Point : sunung@asdtech.co
———————————————————————————————————–