빅 데이터는 다양한 이유로 계속해서 성장하고 있으며 우리는 정보의 홍수 속에서 살아가고 있다. 전 세계 데이터의 90%가 최근 2년 사이 생성된 것이라는 조사까지 발표되었을 정도다. 소프트웨어 애플리케이션, 소셜 미디어, 검색 엔진, 이메일 등, 다양한 데이터 소스를 통해 생성되는 정보의 규모는 앞으로도 절대 감소하지는 않을 것으로 보인다.

빅 데이터는 자칫 기업들을 ‘자동차 꽁무니를 쫓는 강아지'로 만들어 버릴 수도 있다. 지난 수 년 간 기업들은 정보를 경쟁력 확보를 위한 성배처럼 여겨왔다. 그들은 더 많은 고객 데이터를 모을 수 있다면, 시장 패턴을 더 잘 파악할 수 있다면, 설비가 언제 고장 날 지 예측할 수 있다면, 자신들이 시장의 선두로 올라설 수 있을 것이라 굳게 믿었다. 하지만, 목이 마르다고 무작정 정보의 수도꼭지를 열었다가 끝도 없이 쏟아지는 물줄기에 익사해버리는 상황 역시 곳곳에서 목격됐다. 그리고 시장은 빅 데이터에서 이러한 문제에 대한 해답을 발견했다.

무수한 관심이 빅 데이터에 집중되고 있지만, 아직 명확한 정의조차 내리지 못한 것이 현실이다. 하지만 그 개념 자체는 사실 복잡하지 않다.

기본적으로 빅 데이터란 그 이름 그대로 막대한 규모의, 그리고 지속적으로 증가하는 정보를 뜻한다. 이는 시스템이나 기기 등을 이용해 기업들이 수집한 판매 결과나 소비자 구매 패턴 등의 내부 데이터를 의미할 수도 있고, 보다 넓게는 소셜 미디어 매체나 인터넷 검색 공급자 등의 소스로부터 기업이 구매하거나 공급받을 수 있는 데이터를 포함할 수도 있다.

문제는 유입되는 데이터의 규모가 너무 커져 전통적인 ‘일괄 처리' 방식만으론 효율적인 관리가 불가능해지는 상황이 올 수도 있다는데 있다. 정보의 가치는 순식간에 감소해 버리는데, 그것을 처리하는데 수 시간, 심지어는 수 일이 소요된다면 제대로 된 가치 확보가 가능할까? 오늘날 소개되고 있는 빅 데이터 솔루션들은 이런 고민을 해결해 정보 쓰나미를 정보의 금맥으로 바꿔주는 역할을 하는 조력자라 할 수 있다.

빅 데이터가 제공하는 가치에 대한 시장의 뜨거운 반응에 자극 받지 않는 기업은 거의 없을 것이다. 하지만 사실, 빅 데이터를 진정으로 활용할 역량을 갖춘 기업은 아직 그리 많지 않은 것이 현실이다.

빅 데이터가 제공해주는 가치는 기업의 상황에 따라 달라지는 것임을 기억하자. 대량의 정보를 통해 경쟁력을 확보한다는 구상은 분명 이전에 비해 현실성 있는 전략이 되었다. 문제는 그 핵심이 정말 빅 데이터인지의 여부다. 일부에게는 분명 그럴 수 있다. 하지만, 다른 일부 기업들에겐 빅 데이터가 그저 손실과 혼란만을 가져올 수도 있을 것이다.

그렇다면 당신의 기업은 어떤 상황에 있는 것일까? 이를 확인할 수 있는 가장 좋은 방법을 한 번 알아보자. 아마 우리가 아이에게 밥상머리 교육을 하는 방법과 많은 부분에서 닮아 있을 것이다.

 

식탁을 정리해라
비단 빅 데이터 프로젝트에서뿐 아니라 그 어떤 데이터 프로젝트를 진행하는 상황에서도 작업의 첫 단계는 그 프로젝트를 통해 당신이 성취하고자 하는 바가 무엇인지를 명확히 하는 것이 돼야 한다.

목표를 설정하는 과정에서는 시각적인 이미지나 프레임워크를 이용해 현업들에게 빅 데이터를 통해 얻을 최종 결과물이 무엇일지 설명하거나 문제가 예상되는 사항들을 외부 지원을 통해 해결해야 하는 영역, 독자적 노력으로 처리 가능한 영역 등으로 분류하는 노력 역시 도움이 될 것이다.

빅 데이터를 둘러싼 흥분은 정확한 목표를 설정하려는 당신의 마음을 흔들어 놓을 수 있다. 하지만 목표를 분명히 설정하는 것은 빅 데이터가 어떤 방식으로 이용될 수 있을지, 그리고 그 과정에 어떤 요소들의 도움이 필요할 지를 이해하는데 없어서는 안될 과정임을 명심하라.

접시에 놓인 음식부터 먹어라
기업 내부에는 이미 값진 데이터들이 풍부하게 쌓여 있고 적절한 비즈니스 인텔리전스(B) 및 비즈니스 애널리틱스(BA) 툴을 이용하면 어렵지 않게 활용할 수도 있다.

무작정 빅 데이터 활동에 큰 돈을 투자하기 전에, 자신이 어떤 데이터들을 보유하고 있고 이를 기존의 툴을 통해 개발할 수 있을 지를 먼저 고민해 보라. 빅 데이터가 모든 시장의 눈을 사로잡고 있는 오늘날에도 이 전통적 도구들은 지속적으로 기능성을 발전시켜오고 있다.

이들 도구들은 빅 데이터 도구와 대립적인 관계가 아닌, 통합을 통해 기업에 빅 데이터 활동의 비용 부담을 줄여주고 데이터 가시성 및 소비 가능성 향상의 가치를 창출할 수 있는 존재임을 기억하자.

기존의 정보, 업무 시스템에 적용돼 오던 분석 애플리케이션들의 경우 효율적 데이터 관리 도구의 역할 뿐 아니라 IT 지식이 없는 사용자들에게 문제 및 기회를 보여주는 계기판의 역할을 수행하거나 사용자들에게 직접적이고 자동적으로 정보를 전달해 문제 해결과 의사 결정에 도움을 주는, 그리고 업무 프로세스의 표준 영역들을 연결해주는 등의 부가 가치들도 제공했다.

음식을 더 달라고 말하기 전에 접시부터 비워라
쏟아지는 새로운 데이터들은 분명 매력적이다. 아마존에서 페이스북까지 자신에겐 수많은 선택권들이 있고 이 속에는 무수한 기회들이 있을 것이다. 하지만 사실 이런 기회는 자신이 이미 가지고 있는 데이터들에서도 동일하게 발견할 수 있는 것인 경우가 많다.

이들은 단지 관련성과 품질이 다듬어지지 않았을 뿐이다. 또한 때론 너무 많은 정보들이 추가되고 뒤섞여 수익이 감소하는 상황이 발생할 수도 있다. 데이터 소스의 범람이 분석 능력을 마비시켜 버리는 것이다.

단순한 외부 잡음으로 치부될 수 있는 빅 데이터를 값진 자양분으로 바꾸기 위해서는 분명한 워크플로우를 구축해 비즈니스 시각을 높일 필요가 있다. 하지만 명확한 비즈니스 목표가 설정되지 않는다면, 그리고 보유 정보 자산에 대한 이해와 조사가 이뤄지지 않는다면 이 과정은 완벽히 진행되기 어려울 것이며, 또한 비용과 인적 자산의 낭비 역시 야기할 수 있음을 역시 기억해야 할 것이다.

급하게 먹지 말라
빅 데이터를 탐구할 준비가 끝났더라도 곧바로 본격적인 활동에 들어가기보다는 테스트 과정을 거쳐 프로세스를 정돈하는 단계를 거칠 필요가 있다.

내부 데이터 개발 역량 및 지속적 지원 가능성을 갖춘 표준 방법론이 확립됐다면, 비즈니스 영역을 세분화하고 1~2개의 데이터 소스에 프로세스를 적용해 봄으로써 이것이 적절히 작동하는 지를 확인해보라.

사전 조사와 그것에서 도출되는 결과 확인을 통해 프로세스가 적절히 통제되고 있는지, 그리고 충분한 가치가 창출되는 지를 확인할 수 있을 것이다.

빅 데이터에는 분명 어마어마한 가치가 숨어 있다. 하지만 그 거대한 개념을 효과적으로 이해하고 분석하기 위해서는 많은 노력이 요구되는 것 역시 사실이다. 관찰하고 계획하는 기업만이 빅 데이터 활동에서 제대로 된 가치를 이끌어낼 수 있을 것임을 명심하자.