1. 빅데이터 기술 표준화를 위한 빅데이터 아키텍처란 무엇인가
빅데이터가 발달하게 되면서 빅데이터 시장과 관련하여 국내외 표준화 전략 수립 및 활동의 필요성이 커지고 있습니다. 이러한 빅데이터 시스템의 공통적인 기능 컴포넌트를 정의해놓은 기술 모음을 빅데이터 참조 아키텍처라 합니다. 빅데이터 아키텍처는 빅데이터 시장의 다양한 구성원들이 공통의 언어로 표현된 아키텍처를 공유하여 상호운용성, 이식성, 재사용성 및 활장성을 위한 기본 패턴이 될 수 있습니다.
이 문서에서는 빅데이터 아키텍처의 필요성, 기술 요소에 대해 기술되어 있습니다.
2. 빅데이터 아키텍처의 필요성
일반적인 정보시스템과 달리 빅데이터 환경에서 가장 중요한 요소는 최초 생성 목적 이외의 다양한 용도(의사결정, 미래예측 등)로 데이터가 활용 가능하다는 점입니다. 또한 표준화 관점에서 참조 아키텍처의 정의는 표준화 대상 및 영역 식별을 위해 상호운용성, 이식성, 확장성 면에서 중요한 의미를 가지게 됩니다.
3. 빅데이터 아키텍처 개념도 및 주제별 역할
3-1. 빅데이터 아키텍처 개념도
빅데이터 아키텍처들이 공통적으로 제안하고 있는 공통적 요소들을 기반으로 정리된 아키텍처를 살펴보면, 데이터 제공자(Data Provider), 데이터 중계자(Data Broker). 빅데이터 서비스 제공자(Bigdata Service Provider), 빅데이터 소비자(Bigdata Consumer)의 구성원과 각각 하위 가능들을 정의해 놓았습니다.
3-2. 빅데이터 아키텍처 주제별 역할
빅데이터 아키텍처에서 데이터 제공자는 데이터를 생산하여 온라인 상에서 전달할 수 있는 인터페이스를 제공하며, 데이터 중계자를 통해 데이터를 퍼블리싱(Publishing)하게 됩니다. 공유데이터는 데이터에 대한 메타데이터 또는 온라인 접근 API를 데이터 중계자에 등록함으로써 빅데이터 사용자 또는 빅데이터 서비스 제공자가 데이터에 접근할 수 있도록 도와줍니다.
데이터 중계자는 온라인상의 각종 데이터들에 대한 접근 및 권한 정보등을 관리, 제공함으로써 데이터 제공자와 빅데이터 사용자를 연결해줍니다. 가용한 데이터 자원을 검색하고 카탈로그 형태로 등록하여 빅데이터 서비스 사용자가 이를 이용하여 데이터를 접근할 수 있도록하는 서비스를 제공합니다.
또한 빅데이터 서비스 제공자에서는 데이터 분석 및 시각화를 위한 활동들과 데이터의 수집, 저장 전처리와 같은 물리적 정보자원 서비스를 제공합니다. 데이터를 수집, 변환, 저장하거나 처리기능 블록과의 인터페이스를 담당하는 데이터 리포지토리의 기능을 수행하며, 데이터의 중요도 및 라이프 사이클에 따른 데이터 보전 기능을 수행합니다. 시멘틱 웹 기술을 기반으로 데이터의 용도에 따른 개별 데이터들 간의 연관성 정보를 생산하고 관리하는 시멘틱 통합 연계 기능 및 데이터 합성 기능을 제공합니다. 수집된 데이터는 전처리 후 분석, 시각화를 위한 기능과 처리절차를 관리하는 워크플로우 기능이 제공될 수 있습니다. 아키텍처에서 서비스하는 기능들에 대한 전반적인 자원 및 관리기능을 수행하는 관리 기능도 제공됩니다. 데이터 품질관리, 개인정보 보호, 보안, 데이터 소유권에 대한 관리 기능을 수행할 수 있습니다.
마지막 빅데이터 소비자는 빅데이터 서비스 제공자를 통해 가용 자원을 검색하고 분석을 요청하며 그 결과를 확인해 분석 결과를 활용할 수 있습니다.