fastText

fastText의 워드 임베딩 기능은 단어를 고정된 차원의 벡터로 표현하는 비지도 학습 방법을 제공한다. 이는 자연어 처리의 핵심 기초 기술로, 단어의 의미적, 문법적 정보를 수치화하여 기계 학습 모델이 이해할 수 있게 한다. fastText는 Word2vec이나 GloVe와 같은 기존 워드 임베딩 모델과 달리, 단어를 더 작은 단위인 서브워드로 분해하여 학습한다는 점에서 차별화된다.

이 접근법의 핵심은 형태론적 정보를 활용하는 것이다. 예를 들어 'runner'라는 단어는 'run', 'n', 'er' 같은 문자 n-그램으로 표현된다. 이로 인해 학습 과정에서 훈련 데이터에 등장하지 않은 희귀 단어나 오타가 포함된 단어에 대해서도 합리적인 벡터를 생성할 수 있다. 또한 굴절이 풍부한 언어에서 유사한 어간을 공유하는 단어들 간의 관계를 더 잘 포착할 수 있다.

fastText 워드 임베딩 모델은 대규모 말뭉치를 사용하여 학습되며, 페이스북 AI 리서치는 위키백과 데이터를 기반으로 294개 언어에 대한 사전 학습된 모델을 공개했다. 이 모델들은 텍스트 분류, 정보 검색, 기계 번역 등 다양한 자연어 처리 과제의 입력 특징으로 널리 활용된다.

fastText의 텍스트 분류 기능은 지도 학습을 통해 문서나 문장을 사전 정의된 범주로 자동 분류하는 데 사용된다. 이 기능은 특히 대규모 데이터셋에서 빠른 학습 속도와 높은 정확도를 보인다. 전통적인 신경망 기반 분류기와 달리, fastText는 전체 문서를 워드 임베딩의 평균으로 간단히 표현하는 방식을 취한다. 이는 복잡한 RNN이나 CNN 구조를 사용하지 않으면서도 효율적인 성능을 달성할 수 있게 한다.

fastText 텍스트 분류 모델의 핵심 강점은 서브워드 정보를 활용한다는 점이다. 각 단어를 문자 수준의 N-그램으로 분해하여 학습함으로써, 훈련 데이터에 나타나지 않은 희귀 단어나 오타가 포함된 단어에 대한 견고한 처리가 가능하다. 이 접근법은 형태론적으로 풍부한 언어나 다양한 언어 변이형이 존재하는 환경에서 매우 유용하다. 또한, 계층적 소프트맥스 기법을 사용하여 출력 레이어의 계산 복잡도를 크게 줄여, 수십만 개의 클래스를 가진 대규모 분류 문제도 효율적으로 처리할 수 있다.

이러한 특성 덕분에 fastText의 텍스트 분류는 스팸 메일 필터링, 감정 분석, 뉴스 카테고리 분류, 의도 분류 등 다양한 자연어 처리 응용 분야에 널리 적용된다. 사용법이 비교적 간단하고 오픈 소스 라이브러리로 제공되며, C++과 Python을 지원하여 실제 서비스에 통합하기도 용이하다.

fastText의 핵심 기술적 특징 중 하나는 단어를 더 작은 단위인 서브워드로 분해하여 정보를 활용한다는 점이다. 기존의 워드 임베딩 방식인 Word2vec은 각 단어를 고유한 벡터로 표현하기 때문에 훈련 말뭉치에 등장하지 않은 희귀 단어나 오타에 대처하기 어려웠다. fastText는 이 문제를 해결하기 위해 단어를 문자 수준의 N-gram으로 나누어 처리한다.

예를 들어, "apple"이라는 단어는 "ap", "app", "ppl", "ple", "le"와 같은 문자 조합(서브워드)의 집합으로 표현된다. 단어의 벡터는 이러한 서브워드 벡터들의 합으로 계산된다. 이 접근법은 형태론적 유사성을 포착할 수 있게 해준다. "apple"과 "apples"는 많은 서브워드를 공유하므로 두 단어의 벡터 표현도 유사해진다. 이는 굴절어나 파생어가 풍부한 언어에서 특히 효과적이다.

이러한 서브워드 정보 활용 덕분에 fastText는 희귀 단어에 대한 강건한 표현을 생성할 수 있으며, 심지어 훈련 중 본 적 없는 단어(OOV)에 대해서도 합리적인 벡터를 유추할 수 있다. 이는 자연어 처리 모델의 일반화 성능을 크게 향상시키는 요소로 작용한다. 이 기술은 페이스북 AI 리서치 팀의 논문 "Enriching Word Vectors with Subword Information"을 통해 자세히 소개되었다.

fastText의 학습 알고리즘은 워드 임베딩과 텍스트 분류라는 두 가지 주요 목적에 따라 다르게 설계된다. 두 가지 모두 효율성과 확장성을 핵심 목표로 삼고 있다.

워드 임베딩 학습을 위해 fastText는 Word2vec의 CBOW 모델을 확장한 방식을 채택한다. 핵심 차이점은 각 단어를 문자 수준의 N-그램 벡터의 합으로 표현한다는 점이다. 이는 단어의 내부 구조, 즉 서브워드 정보를 활용함으로써 희귀 단어나 오타에 대한 강건한 벡터 표현을 얻을 수 있게 한다. 학습 과정은 주변 단어들로부터 중심 단어를 예측하는 방식으로 진행되며, 계산 효율을 위해 계층적 소프트맥스나 네거티브 샘플링 기법을 사용한다.

텍스트 분류 학습 알고리즘은 단순하면서도 효과적인 선형 분류기 모델을 기반으로 한다. 전체 문서 또는 문장은 구성 단어 및 그 N-그램의 벡터 표현을 평균하여 하나의 벡터로 표현된다. 이 문서 벡터는 선형 분류기의 입력으로 사용되어 사전 정의된 카테고리로 분류된다. 이 접근법은 복잡한 신경망 구조를 사용하지 않아 학습과 예측 속도가 매우 빠르며, 대규모 데이터셋에 쉽게 확장 적용할 수 있다는 장점이 있다.

두 학습 방식 모두 페이스북 AI 리서치 팀에 의해 개발되었으며, 오픈 소스 라이브러리로 공개되어 자연어 처리 연구와 실무에 널리 활용되고 있다.