주요 기업들이 빅데이터를 통한 업무효율 강화를 추진하는 가운데 예상보다 많은 정보의 양에 대책 마련에 나서고 있다. 기업들이 빅데이터를 위해 수집해야하는 정보의 양은 분야에 따라 다르지만 하루에 적게는 수십기가에서 테라급까지 광범위하다.

23일 업계에 따르면 주요 기업들이 빅데이터 환경에 따른 정보저장소 구축으로 인해 어려움을 겪고 있다. 업체들은 수집해야할 정보의 범위와 규모 양쪽 모두에서 어느 정도로 제한할지 여부를 신중하게 분석하고 있다.

기업들은 정보 양을 줄이기 위해 영업활동에 필요한 정보를 일부만 발췌해 저장하거나 압축해 저장하는 방법을 모색하고 있다. 하지만 이 경우 빅데이터 경영의 핵심인 정형ㆍ비정형 데이터 교차분석을 통해 의미 있는 정보를 알아내는 부문은 약해질 수밖에 없다는 문제가 발생할 수 있다.

 

특히, 관련 정보가 매일 누적되면서 쌓여진다는 점과 보다 고도화된 분석을 위해서는 기존 정보를 지속적으로 관리해야 한다는 점에서 시간이 갈수록 관리해야 양과 범위가 폭증하고 있다.

자동차제조 솔루션 업체 이피엠솔루션즈 박정운 대표는 "빅데이터를 활용해 제조과정의 불량률을 줄이기 위해서는 용접 등 각 과정의 데이터를 쌓아야 하는데 하루에 10기가 이상이 쌓인다"며 "자원과 인력이 한정된 중소기업 입장에서 관련 정보를 모으고 관리하는 것이 매우 힘든 상황"이라고 말했다.

 

빅데이터 관련 정보 수집과 관리의 어려움은 대기업도 마찬가지다. 국내 한 반도체 업체에 빅데이터 솔루션을 공급한 업체 관계자는 "반도체 수율을 높이기 위해 도입한 빅데이터 솔루션은 각 과정마다 이력 관리를 해서 불량률이 최저인 조합을 찾아내는 과정"이라며 "하지만 이렇게 최적의 과정을 추리는데 필요한 각 경우의 수는 46만개 정도로 이와 관련된 정보를 감당하기에 대기업도 버거운 실정"이라고 말했다.

최근 유행하는 소셜분석에 따른 데이터도 기하급수적으로 늘어나고 있다. 관련 키워드를 통한 사용자들 로그 기록만 쌓아도 하루에 테라급의 정보가 누적된다.

 

LG CNS 관계자는 "신제품 스마트폰 반응에 대한 소셜분석을 위해 사용하는 키워드를 몇 개만 사용해도 테라급이 된다"며 "기업들은 빅데이터 구축 뿐 아니라 이후 폭증하는 데이터를 어떻게 하면 효율적으로 저장, 분석할 수 있는지도 고민해야 한다"고 말했다.

이 때문에 빅데이터 전문가들은 정보의 수집과 분석보다 빅데이터 도입부터 목적에 대한 방향성을 설정해야한다고 주장하고 있다.

한국오라클 관계자는 "빅데이터 핵심은 과거 300개의 신호와 30개의 작은 사고를 분석해 미래에 발생할 1개의 큰 사고를 방지하는 것과 같은 작업"이라며 "어떤 것을 빅데이터로 정의하고 문제를 해결해야 할 지에 대한 고민이 먼저 필요하다"고 말했다.