“흔히 빅데이터의 반대말이 작은 데이터라고 생각합니다. 하지만 빅데이터의 반댓말은 스몰 데이터가 아니라 익스펜시브(비싼) 데이터라고 봐야 합니다. 빅데이터는 기존에 비용 문제로 처리하지 못했던 데이터를 처리하는 기술입니다.”

 

19일 맵알테크놀로지스코리아(이하 맵알코리아) 김점배 대표의 말이다. 맵알은 클라우데라, 호튼웍스와 함께 실리콘밸리 3대 하둡 전문기업으로 손꼽히는 회사로, 국내 시장에는 올초 진출하기 시작했다.

 

김 대표는 최근 빅데이터 기술이 기존의 데이터웨어하우스(DW) 수준으로 올라왔다고 설명했다. 하둡에 저장된 데이터를 SQL로 분석할 수도 있고, 배치 처리를 넘어 실시간 처리도 가능하다는 것이다. 

 

김 대표에 따르면, 맵알의 빅데이터 플랫폼을 사용하면 기존의 DW 시스템을 대체하거나 기존 시스템과 연계해 더 많은 데이터를 저렴하게 분석할 수 있다.

 

맵알코리아의 기술담당 홍준혁 부장은 맵알 플랫폼의 가장 큰 장점으로 하둡의 여러 버전을 하나의 클러스터로 만들 수 있다는 점을 꼽았다. 하둡 버전1로 빅데이터 플랫폼을 구축한 회사가 하둡 버전2에 맞추기 위해 애플리케이션을 새로 개발할 필요가 없다는 것이다.

홍 부장은 “하나의 클러스터 내에서 멀티 버전의 하둡을 지원한다는 것은 기존 어플리케이션 재사용하고, 생산성이 향상 된다는 의미”라면서 “하둡 버전 3, 4 나와도 기존 애플리케이션을 이용할 수 있는 것이 맵알 플랫폼의 강점”이라고 설명했다.

 

홍 부장은 아울러 하둡 플랫폼으로 실시간 분석을 할 수 있다고 설명했다. 원래 하둡은 일괄처리(배치, Batch) 방식을 취하고 있는 것이 특징이다. 때문에 실시간으로 생성되는 데이터를 분석하는 것에는 어려움이 있었다. 하지만 아파치 하둡은 최근 스파크라는 인메모리 처리 기술을 통해 실시간 분석에 접근하고 있다.

 

홍 부장은 이에 대해 “대부분의 기업들은 현재 맵알 환경에서 스파크를 실행하고 있다”며 “스파크 기반 애플리케이션은 맵알 배포판의 엔터프라이즈급 성능과 더불어 운영 데이터를 실시간으로 처리하는 장점을 제공한다”고 말했다.

이 외에 맵알 플랫폼이 임팔라, 하이브 등 SQL 온 하둡 기술도 모두 지원한다고 홍 부장은 덧붙였다.

김점배 대표는 “맵알은 하둡 플랫폼의 주요 기술인 아키텍처, 데이터 처리, 관리, 호환성에서 최고의 평가를 보유하고 있다”고 강조했다.