빅데이터는 기존 분석에서 벗어나 있던 비정형 데이터까지 포괄해 새로운 가치를 이끌어내려는 트렌드다. 더 많은 데이터를 분석대상으로 삼는다는 빅데이터의 출발은 기술진화가 자리한다. 기술이 발전하면서 더 많은 데이터를 비용효율적으로 저장할 수 있게 되고, 더 많은 데이터를 분석 대상으로 삼을 수 있게 됨으로써 더 많은 데이터를 분석, 비즈니스의 가치를 더하는 빅데이터가 시장의 화두로 떠오른 것이다.

 

금융·통신 분야, 빅데이터 구축 개시
2013년은 빅데이터의 실질적 움직임이 포착된 한 해로 평가된다. 2010년경부터 소개된 빅데이터의 개념은 높은 관심을 끌었지만, 기업의 기존 인프라보다 훨씬 광범위한 데이터를 대상으로 해 더 큰 컴퓨팅 리소스를 필요로 한다는 점에서 실제적인 접근은 쉽지 않았다.

대용량 데이터를 비용효율적으로 저장할 수 있는 방식으로 인해 빅데이터 이슈가 촉발됐지만, 대용량 데이터를 어떻게 활용해 어떤 데이터를 추출하고, 이를 실제 비즈니스에서 어떻게 적용해 비즈니스의 성장을 얻을 수 있는지에 대해 확신할 수 없었기에 기업에서 빅데이터 플랫폼 구축에 쉽게 나서지 못했던 것이다. 따라서 빅데이터에 대한 높은 관심이 실질적인 도입으로 이어지지는 않았다.

그렇지만 올해 의미있는 빅데이터 구축사례가 발굴, 소개되면서 빅데이터는 관심과 논의의 단계를 넘어 실질적 적용 단계로 넘어가는 모습을 보이면서 빅데이터 도입기가 시작된 것이다. 실제로 SK텔레콤, KT 등이 빅데이터 플랫폼을 구축하고, 가치 추출에 나섰으며, 금융권에서도 SC은행, 하나은행을 비롯해 BC카드, 알리안츠생명, 삼성화재, 동부화재, 교보생명, 현대해상화재 등이 빅데이터를 통해 고객을 유치율을 높이거나 사기방지에 활용하는 등 적극적인 움직임에 나섰다.

 

정부 또한 빅데이터를 기반으로 신성장 동력을 창출한다는 목표아래 빅데이터 분야에 대한 투자를 확산하고 있다. 최근 국가연구개발정보관리위원회가 ‘과학기술 빅데이터 공동활용 종합계획’과 ‘범정부 연구과제관리시스템 개선계획’을 확정한 것이 대표적인 사례다. 이를 통해 과학기술 빅데이터를 활용해 창의적 서비스를 발굴하고, 신성장 동력을 창출했다는 전략으로, 국가연구개발 예산으로 수행된 각종 연구 데이터를 국가차원에서 관리·활용하기 위한 거버넌스 체계도 마련할 방침이다.

 

빅데이터 기술 정교화
빅데이터 기술도 진화하고 있다. 초기 빅데이터 관련 기술은 IT 엔지니어나 데이터 사이언티스트의 실험을 위한 성격이 짙었지만, 기업에서의 활용을 위해 편리하고, 안정적 사용을 보장하는 쪽으로 진화하고 있는 것이다.

 

비용효율적인 대용량 데이터 저장을 실현해 사실상 빅데이터를 촉발시킨 하둡도 최근 아파치 하둡 2.0이 발표돼 기업 적용의 매력을 한층 높였다. 하둡 2.0에서는 하둡 내에 직접 애플리케이션을 구현할 수 있게 했다. 기업 애플리케이션 플랫폼으로서의 가능성을 엿보인 획기적인 변화다. 또한 고가용성, 스냅챗, NFSv3 파일시스템 지원 등이 가능하도록 확장성이 높아졌으며, 기업 적용을 위해 필수적인 고가용성 기능도 추가됐다.

 

맵리듀스2.0으로 불리는 얀(YARN)이 포함됐는데, 얀은 프로세싱 엔진과 애플리케이션에 하드웨어 리소스를 효율적으로 분배해 안정성을 한층 높이는 리소스 관리 엔진이다. 얀은 ‘Yet Another Resource Negotiator’의 줄임말로, 리소스 분배뿐 아니라 다양한 데이터 처리 엔진을 연결할 수 있게 됐으며, 한 번에 작업을 하나씩 수행해야 해 존재했던 배치의 어려움도 극복하게 하고 있다.

이러한 진화는 엔터프라이즈 시장에서 하둡의 가치를 제고시킬 것으로 기대된다. 즉 하둡 생태계를 보다 활발히 생성함은 물론 빅데이터의 시대를 본격화할 것으로 기대된다.

 

SQL 온 하둡(SQL on Hadoop) 등 하둡의 성능과 편의성을 높이는 기술도 주목된다. SQL 온 하둡 기술은 맵리듀스와 같은 생소한 방식을 활용해야 하는 불편을 해소하고, 동시에 익숙한 SQL을 하둡에 직접 적용해 편의성을 향상시킬 뿐 아니라 하둡 데이터의 분석 속도도 끌어올릴 수 있어 기업의 빅데이터 활용을 더욱 향상시킬 수 있다. 미국 클라우데라의 ‘임팔라’, 호튼웍스의 ‘스팅거’, 맵알의 ‘드릴’, EMC ‘호크’ 등 SQL 온 하둡 기술이 속속 등장하고 있는 가운데 우리나라 개발자가 제안한 ‘타조’도 SK텔레콤 등에 적용되면서 유용성을 입증해 빅데이터 시대가 한층 가까워졌음을 알렸다.

 

이러한 발전에 따라 2014년에는 하둡을 기반으로 엔터프라이즈 빅데이터 시대가 열릴 것으로 전망된다. 하둡 생태계가 더욱 성숙되고, 이를 기반으로 기업의 하둡 도입과 활용이 증가, 빅데이터 시대의 도입기가 시작될 것으로 예상되고 있는 것이다.