최근 IT 전문가들의 집중적인 관심을 받고 있는 빅데이터 기술이란 현재까지의 컴퓨터 기술로는 처리할 수 없었던 방대한 양의 다양한 데이터를 빠르게 검색하고 분석할 수 있게 하는 최신 기술이다. 지난해 공공 분야에서 다양한 빅데이터 시범사업이 진행되었고 이중에 서울시 심야 버스 운행을 위해 최적의 노선을 찾는데 빅데이터 기술을 사용하였다는 사실은 공중파를 통해 많은 사람들에게 알려진 사실이다. 빅데이터 기술은 아무리 방대한 양의 데이터라도 그 크기에 상관없이 모든 종류의 데이터를 대상으로 빠른 분석이 가능하다는 점에서 사회의 모든 변화를 세밀한 단위로 상세하게 분석하면서 주어진 상황에 가장 최적화된 방법을 실시간적으로 적용하는 최적화 사회를 만들어가는 중요한 기술이다.

 

18세기 영국의 산업혁명을 계기로 분업화된 표준 생산 프로세스를 통해 효율적인 소품종 대량 생산 체계를 구축하면서 산업화 사회가 시작되었고 1950년대부터 시작된 컴퓨터의 활용은 오늘날 우리 사회의 모든 업무가 인터넷과 컴퓨터를 활용하여 효율적으로 수행되는 정보화 사회를 실현하였다. 현재까지의 산업화 과정은 대중적 체형의 통계적 표본 값으로 대중을 위한 기성복을 만들었다면 빅데이터 기술은 개인 각자의 취향이나 체형에 최적화된 맞춤복을 만드는 기술이다.

 

하드웨어에서 소프트웨어로 이동하였던 IT 기술의 중심은 이제 소프트웨어에서 데이터로 옮겨가고 있는 시점에 우리 사회는 창조경제와 정부3.0을 통한 국가 발전을 모색하고 있다. 개방, 공유, 소통 그리고 협력에 기반한 정부 3.0 시대의 성공은 한마디로 데이터의 개방, 데이터에 대한 공유, 데이터를 통한 소통, 그리고 데이터에 의한 협력으로 새로운 창조적 경제 발전 원동력을 효과적으로 찾을 수 있는가에 달려 있다.

 

산업분야에서는 사람이 하던 대부분의 업무들이 생산성 향상을 위해 컴퓨터기반의 자동화 생산 체계를 통해 수행되고 있다. 따라서 오늘날 에너지/자원, 소재, 제조 및 물류 등과 같은 모든 산업 현장에서 생산 중인 제품마다 수행된 작업 내역들이 매일 매일 엄청난 양의 산업 빅데이터로 남겨지고 있다. 그러나 세밀하게 분업화된 산업 현장에서 특정 공정에서 발생한 빅데이터의 분석은 대부분 그 공장에서 10년 이상 근무한 전문 작업자들이 오랜 경험과 감각으로 인지하는 수준 이상의 지식을 발견할 수 없다. 즉 빅데이터가 생성된 곳에서는 해당 빅데이터가 특별하게 유용하지 못하다는 뜻이다.

 

반면에 원자재 구입 과정부터 생산, 유통, 판매 그리고 에프터 서비스까지의 산업 활동 전 과정에서 발생하고 있는 다양한 빅데이터를 실시간적으로 연계하여 분석하였을 때 어떤 전문가도 파악할 수 없는 새롭고 귀중한 지식의 발견이 가능하다. 이러한 이유로 우리나라의 산업 분야에서 빅데이터 기술을 활성화하기 위해서 가장 중요한 요소는 연관된 여러 영역들간의 데이터 유통을 통한 새로운 지식의 창조이다. 수직적으로 분업화된 각 세부 영역의 빅데이터를 다른 세부 영역에 수평적으로 개방하고 공유하며 여러 세부영역들의 과거 이력 빅데이터를 분석함으로써 전문성이 서로 다른 세부 영역들간의 이해도를 높일 수 있다. 또한 새롭게 실시간적으로 발생하는 여러 세부 영역들의 빅데이터를 수평적으로 연계하여 세부 영역들간의 협업을 통해 이제껏 사람이 파악할 수 없었던 창조적인 생산 최적화 효과를 달성할 수 있기 때문이다.

 

새로운 것을 만드는 것보다는 새로운 것을 찾는 작업이 선행되는 것이 창조경제를 효과적으로 달성하는 관건이다. 이를 위해서는 산업 분야들 간에 서로 다른 회사나 기관들 간에 더 나아가 민간과 공공 영역 간에 다양한 빅데이터를 자유롭고 활발하게 유통시킬 수 있는 데이터 스타일 제도의 마련이 필수적이다.