AI/NLP (1) 썸네일형 리스트형 [NLP] NLP 최신 모델 비교 분석 Model 비교 GPT Generative Pre-trained Transformer Transformer base의 최초 논문 이전 단어를 바탕으로 다음 단어를 예측하는 방법으로 훈련된다. 문맥파악에 약점이 있다. BERT Bidirectional Encoder Representations from Transformers Masked 된 단어를 예측하는 양방향 (문맥) 바탕 예측으로 훈련된다. NSP를 도입하여 문장간의 관계도 학습할 수 있다. : Nest Sentence prediction을 바탕으로 자연스럽게 문맥을 파악할 수 있다. Bert 기반 모델 RoBERTa(19년) - FaceBook A Robustly Optimized BERT Pretraining Approach Bert의 고정된 M.. 이전 1 다음