얼마 전 미래창조부와 한국정보화진흥원이 주관한 빅데이터 경진대회에 심사위원을 맡았다. 심사하면서 관심 있게 보았던 부분은 참가한 학생들의 전공이었다. 참가한 학생들은 전산학, 통계학, 문헌정보학, 신문방송학 등 다양한 전공을 가지고 있었다. 심사 전 비정형데이터 분석을 위한 텍스트마이닝 기술을 사용할 줄 아는 전산학이나 추출된 데이터를 기반으로 상관성을 찾아내는 통계학 전공자들이 유리할 것이라는 생각을 가지고 심사했지만 나의 예상을 깨고 대상은 문헌정보학과 학생들이 차지했다.

과거 문헌정보학과를 졸업하면 도서관 사서로 일하는 것으로 많이 생각했는데, 지금 빅데이터와 문헌정보학과는 과연 무슨 연관성이 있는 것일까. 순간 궁금해졌다.

 

빅데이터는 데이터를 추출하고 그 데이터에서 패턴을 찾아내는 분석의 과정과 그 패턴에서 의미를 찾아서 가치를 덧붙이는 해석의 과정으로 이뤄져 있다. 여기에서 분석과정은 기술로 해결되지만 해석 과정은 기술로 해결되지 않는다. 해석 과정에서 인간이나 사회에 대한 이해가 필요한 경우가 많기 때문이다. 그래서 인문학이 중요하다고 말할 수 있다.

전산학이나 통계학이 수학이나 컴퓨터에 가까운 학문이라고 본다면 문헌정보학은 기술 보다는 인문학에 가깝다고 할 수 있다. 그렇다면 사회학, 심리학, 철학이 더 인간 사회에 대한 해석이 유리할 수 있는데 그럼에도 불구하고 문헌정보학과가 빅데이터와 연관성을 갖는 이유는 무엇일까.

 

그 답은 분류에 있었다.

우리가 기존에 데이터로 인식되지 못했던 것들이 데이터화 되면서 빅데이터라는 개념이 나오듯, 굳이 비유하자면 사람들 사이에서 말로만 전해지던 것들이 글로 표현되어 그 책이 도서관에 보관되어 빅데이터라는 거대한 멀티미디어 도서관이 만들어진 것이다.

도서관이 처음 만들어져서 운영되려면 가장 먼저 필요한 것이 분류다. 지금은 빅데이터 초창기라 비슷한 것들을 모으고 거기에 대표성을 부여하는 분류 방법이 가장 필요한 시기이다. 하지만 이 시기가 지나면 문헌정보학보다 다른 인문학 전공자들이 잘 분류해 놓은 책들을 보고 심도 있는 해석을 할 수 있는 시기가 곧 돌아 올 것이다.

빅데이터는 분석 기술 보다 해석 과정이 더 중요하다고 볼 수 있다.

 

전통적인 오프라인 쇼핑 시절에 대형 마트 매장에는 물건들을 배치하는 카테고리 매니저라는 사람이 있다. 고객들이 같이 구매한 상품 내역을 분석해서 상품 배치를 활용해 구매율을 높이는 방법이다.

쇼핑몰에 판매할 좋은 물건을 잘 고르는 것이 MD의 역할이라면 이 물건을 어떻게 분류해야 잘 팔릴지를 고민하는 것이 카테고리 매니저의 역할이다.

 

세상은 데이터 중심의 의사 결정 시대로 바뀌고 있다. 데이터를 읽고 이해하고 분석해서 데이터를 해석 할 수 있는 시각을 가져야 한다.

빅데이터 시대에 카테고리 매니저의 역할을 하는 사람을 `데이터 큐레이터'라고 부르고 싶다. 우리가 날아가는 새들 하나 하나의 날개짓이나 크기 색깔을 보는 것도 분석이라면, 이들 무리가 어디로 어떤 모양으로 날아가는지를 보고 해석하는 것이 빅데이터 시대에 어울리는 데이터 큐레이터의 역할일 것이다.