“빅데이터에도 진화가 필요하다”

“인공지능·4차산업혁명, 빅데이터의 판도 바꿔놔”…“클라우드, 하이브리드가 대세 될 것”

김용영 기자
[2016.8.26.]

빅데이터는 등장 이후 데이터에서 금맥을 캐는 첨단 기술로 각광을 받았다. 비정형 데이터에서 맥락이 담긴 정보를 추출해 다양한 형태로 이용하는 것으로 요약되는 빅데이터는 디지털 마케팅과 함께 소비자 조사, 신기술 적용 등 다양한 형태로 활용되고 있다.

그러나 올해 들어 알파고로 대표되는 인공지능, 다보스포럼을 통해 아젠다로 자리잡은 4차산업혁명 등이 대두됨에 따라 빅데이터를 바라보는 시각 자체에도 미묘한 변화가 생겼다. 빅데이터 분석이 일반 소비자들의 반응을 파악하는 등 사후 평가에 사용되는 것을 넘어 생산 단계에도 직접 영향을 미치게 된 것이다. 이에 따라 빅데이터 업계도 변화해야 한다는 지적이 나오고 있다.

호튼웍스는 빅데이터를 탄생시킨 기술인 ‘하둡’ 부문에서 전세계 3대 전문업체로 꼽히는 회사다. 빅데이터의 시작부터 함께 해온 기술 회사로 현 빅데이터의 흐름을 어떻게 보고 있는지 제프 마크햄(사진) 아태지역 부사장과 서면인터뷰를 통해 의견을 들어봤다. 제프 마크햄은 IBM, 레드햇, VMware 등 여러 IT 회사에서 재직하다 호튼웍스에 합류했으며 국내에서는 경기도 빅파이 미래전략위원회에 참가하는 등 한국과도 친숙한 인물이다.

◆ 올해 전격 부상한 인공지능, 4차산업혁명은 빅데이터를 바라보는 시각 자체를 바꿔놓고 있습니다. 빅데이터 분석이 기업의 생산 활동과 직접 연결됨을 보여주는 상징적인 개념들이니까요. 빅데이터 솔루션 업체에는 이같은 변화를 어떻게 보고 있습니까?

- 정보기술(IT) 업계는 빠르게 움직이고 있습니다. 하둡, 아파치 스파크가 등장하면서 데이터 사이언스와 기계학습의 판도를 바꿨습니다. GE, 슈나이더, 로크웰 오토메이션 등 산업 자동화 회사들은 기계학습이 적용된 클라우드를 사용해 데이터 보관 주기를 늘리고, 정확하게 예측하며, 비용을 줄이고 있습니다.

호튼웍스는 하둡 위에서 작동되는 오픈소스 데이터 운영체제인 ‘얀’을 만들어 기술 변화에 대응하고 있습니다. 얀은 다양한 데이터 응용 프로그램들을 하둡 위에서 작동시킵니다. 또 오냐라라는 스타트업을 인수해 4차산업혁명의 핵심 기술 중 하나인 사물인터넷(IoT)의 데이터를 분석을 통해 통찰로 바꿔주는 기술을 보유했습니다. 우리의 전략은 현재 IT 업계의 요구에 부응하고 있으며 그 결과 호튼웍스도 기업용 소프트웨어 역사상 가장 빠르게 성장하고 있습니다.

◆ 최근 빅데이터 분석, 머신 러닝 등에서 나온 의미있는 성과는 대부분 막대한 데이터를 보유한 인터넷 기업들에게 나오고 있습니다. 구글의 알파고가 대표적인 사례인데요, 이는 기업들에게 프라이빗 클라우드보다는 퍼블릭 클라우드를 사용하도록 유도하고 있다고 생각합니다. 이같은 주장에 동의하는지요.

- 알파고의 바둑 승리는 인터넷 기업인 구글의 기술력을 보여주는 사례입니다. 여기서도 알 수 있듯이 퍼블릭 클라우드는 빠르게 확산될 것입니다. 하지만 기업들은 민감한 데이터도 보유하고 있습니다. 다른 회사의 손에 맡기기 곤란한 데이터입니다. 따라서 프라이빗 클라우드도 향후 계속 유지될 것이며 둘을 함께 사용하는 하이브리드 클라우드가 일반적인 사용 형태가 될 것으로 예상합니다.

<중략>

기사 상세 내용 보기_클릭