빅데이터 시대에 기존 시스템으로는 감당할 수 없을 정도로 데이터 양이 많아지면서, 주요 기업들이 데이터 병목 개선에 사활을 걸고 있다. 그동안 기업들은 하드웨어적인 입출력에 대한 병목 현상을 개선하는데 집중했지만, 최근에는 하드웨어 뿐 아니라 소프트웨어를 더해 원활한 데이터 검색, 전송 속도를 높이고 있다.

 

9일 업계에 따르면 오라클, 마이크로소프트, IBM, SAP 등은 데이터 검색, 전송 속도를 높이려는 다양한 기술을 개발중이다. 이들 업체가 데이터 속도 개선에 집중하는 것은 속도를 높일수록 부가가치도 함께 높아지기 때문이다. 또 업체들이 빅데이터에 관심을 갖게 되면서 처리해야할 데이터양도 이전에 비해 큰 폭으로 증가하고 있다.

 

IBM 관계자는 "빅데이터 시대에는 분석해야할 데이터가 많아지기 때문에, 업무의 불확실성에 따른 데이터 병목 현상이 발생하게 된다"며 "다양한 업무 환경을 고려해 하드웨어 뿐 아니라 소프트웨어적인 개선책을 활용하는 것이 최근 추세"라고 말했다.

데이터 병목은 CPU, 저장매체, 네트워크 등 하드웨어 부문은 물론 데이터베이스 추출과 전송 등에서도 발생한다. 초기 데이터 병목은 CPU와 저장매체 부문을 중심으로 나타났지만 최근에는 네트워크와 데이터 추출에 집중되고 있다.

 

이에 업체들은 저장매체를 기존 하드디스크드라이브(HDD)에서 플래시메모리나 D램으로 바꾸고, 네트워크도 기가비트 인터넷에서 인피니밴드 등을 도입하고 있다. 메모리 방식은 디스크에 비해 1만배 이상 빠른 처리속도를 낼 수 있는 것으로 알려졌다.

또 최근 DB업체들은 하드웨어적인 병목현상이 차츰 해결되면서 하드웨어와 소프트웨어 결합기술로 이동하고 있다.

오라클은 하드웨어와 소프트웨어를 최적화한 엔지니어드 시스템 `엑사데이타 데이터베이스 머신'으로 데이터 처리의 속도를 높이고 있다. 이 회사는 엑사데이타에 대용량 질의 대상이 되는 디스크의 내용 중 조건에 부합하는 내용만을 전송하는 스마트스캔 기술, 10배 이상 데이터 압축을 제공하는 기술, 고대역폭의 인피니밴드를 적용하고 있다.

 

홍기현 한국오라클 상무는 "기업 내에서 분석해야할 기술이 많아지면서 비용대비 효율성이 가장 큰 화두가 됐다"며 "하드웨어 뿐 아니라 소프트웨어 부문에서도 개선을 통해 전체적인 시스템의 효율성을 높여야 한다"라고 말했다.

SAP는 데이터를 HDD가 아닌 메모리에 저장하는 인메모리 컴퓨팅에 집중하고 있다. 물리적인 방식으로 데이터에 접근하는 디스크 대신 전자적인 방식인 메모리를 사용해 병목현상을 줄이고 있다. 대표 제품인 `하나'는 인간 DNA 분석시간을 3주에서 3분 미만으로 단축시켰다.

 

IBM도 메모리상에서 컬럼 기반의 접속을 지원하는 `DB2 BLU', 스토리지와 서버간의 입출력을 개선한 PDA(Pure Data for analytics), 메모리상에서 데이터 실시간 분석을 수행하는 기술(InfoSphere Streams)을 도입했다.

한편, 해외 업체들이 저장매체를 디스크에서 메모리로, 통신방식을 이더넷에서 인피니밴드로 전환하는 가운데, 아직 국내 업체들은 이에 취약한 것으로 나타나 개선이 필요할 것으로 보인다.

티베로 등 국내 업체들은 기존 디스크 DB 부문에서 해외업체들을 빠르게 추격하고 있으나 인메모리 등에서는 아직 해외업체와 기술력의 차이가 있는 것으로 나타났다.