최근 소셜 미디어 등 다양한 플랫폼에 막대한 양의 데이터가 쌓이면서 이를 효과적으로 분석하는 기술이 빠르게 발전하고 있다. 특히, 텍스트 데이터를 다루는 방식에도 큰 변화가 생겼다. 과거 10년간 LDA나 N-gram 같은 전통적인 기법들이 주로 사용됐지만, 이들 방식은 단어 빈도나 패턴을 파악하는 데는 유용해도 문맥의 깊은 이해에는 한계가 있었다. 그러나 이제는 ChatGPT, Llama, BERT 같은 생성형 AI모델 중 텍스트를 주로 다루는 대형 언어 모델(LLM)이 등장하면서 복잡한 문맥과 의미를 보다 정확히 파악할 수 있게 되었다. 이에 따라 빅데이터 연구와 프로젝트에서 LLM 기반의 기법이 활발히 활용되고 있다. 이 글에서는 기존 텍스트 분석 기법과 최근 LLM 기반 방법의 차이점 및 활용 방안에 대해 살펴보고자 한다.

전통적인 빅데이터 분석 기법

오랫동안 사용된 전통적인 빅데이터 분석 기법들은 그 단순성과 속도 덕분에 다양한 분야에서 유용하게 쓰이고 있다. 주요 기법들을 살펴보면 다음과 같다.

<중략>