“데이터레이크는 아마존웹서비스(AWS)의 오브젝트 스토리지인 아마존 S3와 함께 보편화됐다. 오브젝트 스토리지와 전통적인 SAN, NAS는 파일위치를 담은 메타정보를 중앙에서 관리하며 파일을 찾는 방식이고, 분산된 파일이 많아지면 자원을 찾는 비용이 증가한다. 챗GPT처럼 분석 모델을 학습할 때 분석용 파일 자체가 수백만에서 수억건에 달하는 경우라면 메타 정보에서 병목현상이 발생한다.”
권동수 효성인포메이션시스템 전문위원은 본지와 인터뷰에서 ‘AI에 최적화된 데이터 스토리지 시스템’의 필요성을 이같이 설명했다.
<중략>