다국어 지원 딥러닝 모델

다국어 지원 딥러닝 모델

허깅페이스 홈페이지의 `Run inference with multilingual models`를 공부한 내용을 정리합니다. Transformer기반의 많은 LLM(Large Language Model) 중 다국어를 지원하는 모델을 정리한 문서입니다. 한국어 기반의 데이터를 처리하기 위해서 다국어를 지원하는 모델을 정리합니다.

XLM

XLM(Cross-lingual Language Model)은 2019년 `Cross-lingual Language Model Pretraining`논문에서 소개 되었습니다. 10개의 서로다른 체크 포인트로 구성되고 인과언어모델링(CLM;causal language modeling), 마스크 언어 모델링(MLM;masked language modeling), 번역 언어 모델링(TLM;translation language modeling)방법으로 사전 학습됩니다.

Transformer는 자연어 처리를 위한 최신 딥러닝 모델 중 하나로, self-attention 메커니즘을 사용하여 문맥을 파악하고 언어의 구조를 학습합니다. XLM은 이러한 Transformer의 기술을 활용하여 여러 언어의 텍스트를 처리하고 번역합니다. 또한, XLM은 다국어 코퍼스를 통해 언어 간의 상관 관계를 학습하여 다국어 이해에 도움이 되는 벡터 표현을 생성합니다.

BERT

BERT(Bidirectional Encoder Representations from Transformers)모델은 2018년 구글이 공개한 다국어 지원 모델입니다. BERT는 단어보다 더 작은 단위로 나누는 WordPiece 토크나이저를 사용합니다. 

BERT는 대량의 텍스트 데이터를 사용하여 사전훈련됩니다. 이 과정에서 BERT는 언어 이해를 위한 표현을 학습합니다. 주로 Masked Language Model (MLM)과 Next Sentence Prediction (NSP) 두 가지 방법을 사용하여 사전훈련됩니다. MLM은 문장 내의 단어를 가리고 이를 예측하도록 하는 방식으로, 단어 간의 상호작용을 이해하고 문맥을 파악하는 능력을 키웁니다. NSP는 두 문장이 주어졌을 때 두 번째 문장이 첫 번째 문장과 관련이 있는지 예측하는 방식으로, 문장 간의 관계를 이해하는 데 도움이 됩니다.

하지만 BERT는 초기에 대량의 영어 데이터를 사용하여 사전훈련되었습니다. 따라서 BERT 모델은 영어에 대해 높은 수준의 성능을 보입니다. 그러나 다른 언어에 대해서는 해당 언어의 특성을 충분히 반영하지 못할 수 있습니다.

XLM-RoBERTa

XLM-RoBERTa(억세럴러-로버타)는 Facebook AI가 개발한 다국어 언어 모델입니다. 이 모델은 BERT와 RoBERTa의 아이디어를 기반으로 하며, 다양한 언어 간의 상호 작용을 효과적으로 학습하는 데 중점을 둔 것이 특징입니다. XLM-RoBERTa는 다양한 언어 간의 일관된 표현을 학습하여 번역, 감정 분석, 텍스트 분류 등 다국어 자연어 처리 작업에 효과적으로 활용될 수 있습니다.

XLM-RoBERTa는 다양한 언어 간의 상호 작용을 학습하는 데 중점을 두고 있습니다. 이 모델은 다국어 코퍼스를 사용하여 여러 언어의 특징을 학습하고, 이를 바탕으로 다양한 언어의 텍스트를 효과적으로 이해하고 처리할 수 있습니다. 대규모 다국어 코퍼스에서 사전훈련되었습니다. 이 과정에서 언어 모델이 문장의 다음 단어를 예측하도록 학습됩니다. 이를 통해 모델은 문맥을 파악하고 언어의 구조를 이해하는 능력을 향상시킵니다.

XLM-RoBERTa는 다양한 언어의 텍스트를 효율적으로 처리할 수 있습니다. 이 모델은 언어 간의 상호 작용을 고려하여 텍스트를 이해하고 번역하는 데 도움이 됩니다. 또한, XLM-RoBERTa는 다양한 언어의 표현을 학습하여 번역, 감정 분석, 텍스트 분류 등 다국어 자연어 처리 작업에 적용될 수 있습니다.

XLM-RoBERTa

가장 최근의 모델은 2021년에 발표된 XLM-Roberta입니다. XLM-Roberta는 XLM(억세럴러-메트릭 러닝) 모델의 발전된 버전으로, RoBERTa(로버타) 모델과 결합하여 다국어 언어 처리에 특화된 모델입니다. 

 

Reference

https://huggingface.co/docs/transformers/multilingual