빅데이터를 둘러싼 열기가 쉽사리 사그라지지 않는 양상이다. 관련 지출 또한 계속해서 엄청나게 증가하고 있다.

IDC에서는 빅데이터 기술 및 서비스 시장이 해마다 꾸준히 27%가량 성장해 2017년에는 시장 규모가 324억 달러에 이를 것이라 전망했다. 이를 쉽게 풀어 얘기해 보자면 빅데이터 시장이 전체 정보통신 기술 시장을 다 합친 것보다 6배나 빠른 속도로 성장하고 있음을 뜻한다.

 

이렇게 시장은 성장하는데, 정작 빅데이터를 도입한 얼리어답터 기업들이 성공적으로 활용하고 있는지는 확실하지 않다. 이를 확인하기 위해 IT 경영진, 관리자 등을 대상으로 설문조사를 진행해 기업의 빅데이터 이니셔티브, 투자, 우선순위 등에 대해 물어보았다.

IDG 산하 엔터프라이즈 전문 매체인 IT월드, CIO, 네트워크 월드, 컴퓨터월드, CSO, 인포월드에서 실시한 2014 빅데이터 설문 조사의 주요 결과를 소개한다.

 

이번 설문 조사는 빅데이터 도입에 있어 다양한 단계를 거치고 있는 기업들을 대상으로 했다. 이 가운데는 이미 빅데이터 프로젝트를 도입한 기업(19%)도 있고, 아직 도입 중인 기업(25%)도 있었다. 향후 12개월 내 빅데이터를 도입할 계획이 있는 기업과 13~24개월 내에 계획중인 기업도 각각 16%를 차지했다. 나머지 23%는 향후 빅데이터 프로젝트를 도입할 계획은 없지만, 현재 적절한 전략이나 솔루션을 찾는데 주력하는 기업이었다.

 

일단 큰 그림부터 보자면, 확실히 기업의 규모나 업종에 상관 없이 빅데이터의 중요성이 증가하고 있는 것은 분명했다. 기업에서 빅데이터 이니셔티브에 어느 정도의 중요성을 두고 있느냐는 질문에 53%가 ‘매우 중요’ 또는 ‘최우선 순위’를 꼽았고 34%는 ‘중간’을, 12%만이 ‘별로 중요하지 않다’를 선택했다.

설문조사의 응답들을 분석한 결과, 빅데이터 시장에 대한 여러가지 의미를 다음과 같이 도출할 수 있었다.

 

1. 기업들은 '더 빨리', '좀더 정확히' 의사 결정을 내리길 원한다
 왜 빅데이터인가? 호응을 얻는 이유는 간단하다. 기업의 의사 결정 속도와 질을 높이는데 큰 공헌을 하기 때문이다. 기업들이 빅데이터에 투자하는 가장 큰 이유는 첫번째가 의사결정의 질을 높이기 위해서였고(응답자의 59%), 의사결정의 속도를 높이는 것이 두 번째였다(53%).

이 밖에도 빅데이터에 투자하는 이유로 기획과 예측 개선(47%), 신제품/서비스 개발과 매출원 개발(47%), 새로운 고객 유치 및 기존 고객 잡아두기(44%), 그리고 새로운 비즈니스 파트너십 맺기(34%) 등이 있었다.

 

2. 페타바이트 단위의 데이터? 이는 대기업 이상만 해당한다
 기업들이 축적해 놓은 고객이나 경영 관련 데이터는 어마어마하다. 설문조사 응답자의 경우에도 기업에서 관리하고 있는 데이터의 양이 평균 164테라바이트였다. 앞으로 12~18개월 후에 어느 정도의 데이터를 관리하게 될 것인지에 대한 예측 문항에서는 응답자들이 평균 289테라바이트 정도라고 답했는데, 이 수치는 현재 데이터에서 76%가 증가한 수치다.

그러나 오늘날 1 페타바이트 이상의 데이터를 관리하는 기업은 전체 응답자의 6%에 그쳤다. 앞으로 12~18개월 후 이 수는 약 14%로 증가하게 될 것이다. 연 수익 10억 달러 이상의 대기업 가운데 31%가 1페타바이트 이상의 데이터를 관리하게 될 것이라 응답했다.

 

3. 데이터 폭증이 야기할 수 있는 문제를 인지하고 있다
 대량의 데이터가 밀어닥칠 경우 기업에도 여러 가지 문제가 발생한다. 필요한 정보를 바로 찾을 수 없어 손해를 보는 경우(응답자의 11%가 이 같은 문제를 자주 겪는다 답했고, 31%는 가끔 겪는다 답했다), 중요한 의사결정을 내리는 데 있어 시간이 지연되는 문제(자주 겪는다 14%, 가끔 겪는다 39%)가 있었다.

이 밖에 데이터의 양에 압도 당하는 경우(자주 겪는다 19%, 가끔 겪는다 46%), 그리고 데이터 보안에 허점이 생기는 문제(자주 겪는다 4%, 가끔 겪는다 15%) 등이 여기에 해당됐다.

 

4. 기업은 투자할 준비가 되어 있다. ROI는 지금당장의 장애물은 아니다
 조사 결과 빅데이터와 관련해 가장 큰 문제는 제한적인 예산이었다. 빅데이터에 대한 투자는 응답자들 사이에서도 다양했다. 투자 금액이 적은 편에 속하는 19%의 응답자는 내년 빅데이터 이니셔티브에 10만 달러 이하를 지출할 계획이라 답했다.

반면 상위 29%는 100만 달러 이상 투자할 것이라 응답했다(이 중에는 1억 달러 이상 지출할 계획이라는 이들도 2% 가량 있었다). 빅데이터와 관련해 기업의 투자는 다양하게 진행될 것이다.

- 소프트웨어 애플리케이션 개발과 구매(38%)
- 추가적인 서버 또는 스토리지 하드웨어/소프트웨어 투자(37%)
- 하둡과 같은 오픈소스 소프트웨어 프레임워크 구축(30%)
- 스토리지를 위한 클라우드 기반의 서비스 마이그레이션(28%)
- 네트워크 대역폭 증설(27%)
- 분석을 위한 클라우드 기반의 서비스 마이그레이션(26%)

대부분 예산 부족에 대해 문제라고 지적했지만 ROI는 그렇게 급한 문제는 아닌 것으로 나타났다. 높은 투자 수익률을 내는 것이 어려운 과제라는 응답자는 26%에 불과했다.

 

5. 기업들은 전문가를 구하고 있다
 기업들이 걱정하는 또 한가지는 과연 빅데이터 이니셔티브에 적합한 인력을 쓰고 있냐는 것이다. 지식 근로자나 데이터 과학자 등도 그 가운데 하나다. 인사 부분에 있어서는 응답 기업의 34%가 애널리틱스 기술을 가진 직원을 고용하고 있었고, 26%는 빅데이터 외의 전문 인력을 고용하고 있었다.
향후 12~18개월 내로 어떤 기술을 가진 인력을 고용할 예정이냐는 질문에는 데이터 과학자(data scientist, 27%)로 1위를 했고, 데이터 아키텍트(data architect, 24%), 데이터 애널리스트(24%), 데이터 시각화 전문가(23%), 비즈니스 애널리스트(21%), 리서치 애널리스트(21%), 애널리틱스 책임자 또는 관리자(19%), 그리고 데이터베이스 프로그래머(19%)등이 뒤를 이었다.

 

6. 데이터 보안이 우려되지만, 주요 과제는 아니다
 이번 연구 결과는 기업들이 제한적 예산과 부족한 전문 인력이 가장 큰 문제로 여기고 있음을 보여줬다. 또한 응답자는 보안 문제(35%), 개발 시간(35%), 기존 툴의 통합과 같은 레거시 문제(33%), 낮은 데이터 퀄리티(32%), 실시간 데이터 통합 및 분석의 어려움(30%) 등도 빅데이터 이니셔티브에 있어 해결 과제로 꼽았다.

보안이라는 주제에 대해서는 응답자의 절반 가까이가(49%) 현재 사용하고 있는 보안 솔루션 및 제품이 자사의 빅데이터 프로젝트에 충분하다고 답했다. 29%는 그러나 현재 이용중인 솔루션이 부족하다 답했고, ‘잘 모르겠다’라고 응답한 이는 22%였다.

 

7. 비즈니스 통합과 기업 문화와의 융합, 무엇이 더 어려울까?
연구원들은 응답자에게 빅데이터 이니셔티브를 기관의 기준 비즈니스 프로세스와 문화에 통합시키는 것의 어려움에 대해 물었다. 그 결과 기업 문화와의 융합이 ‘매우 어렵다’고 답한 사람은 54%, 비즈니스 프로세스와의 통합에서 ‘매우 어렵다’를 선택한 이는 50%로 전자가 약간 더 높았다.

 

8. 빅데이터 이니셔티브는 IT가 주도하지만 성공 여부는 각 부서간 파트너십에 의해 결정된다
 응답자들은 IT가 프로젝트를 주도하는 것을 당연하게 받아들이고 있었다. 46%는 IT 부서의 경영진이나 임원이 빅데이터 이니셔티브를 주도하고 있다 응답했으며, 44%는 IT 매니지먼트에서 빅데이터 프로젝트를 운영한다고 답했다.

그렇지만 IT 부서 단독으로 이끌어가는 것은 아니었다. 응답자의 36%는 현업 경영진들이 여기에 참여한다고 답했다. 또 빅데이터 이니셔티브가 CEO의 지원을 받는다는 대답(47%)과, 경영 책임자급의 지원을 받는다는 대답(34%)도 있었다. IT와 경영 책임자들 모두 부처간 협력을 통해 기업의 문제를 해결하려 할 때 빅데이터 프로젝트가 가장 성공적이라는 점에 동의하고 있었다.

9. 빅데이터 열풍, 앞으로도 계속 이어질 것이다

 미래에 대한 전망을 묻는 질문에서는 절반 가까이(48%)가 3년 이내로 빅데이터 사용이 더욱 팽배해질 것이라 응답했으며, 26%는 하나 이상의 사업 부문이나 부서에서만 주류 기술로 자리잡을 것이라 예상했다.

빅데이터가 한 때의 유행일 뿐이며 곧 사그라질 것이라 응답한 사람은 5%에 그쳤고, ‘잘 모르겠다’고 응답한 이는 5%였다. 나머지 16%는 좀 더 두고 봐야 알겠지만 빅데이터가 주류 기술이 되지는 않을 것이라 응답했다.