OpenAI

[GPT-3] Language Models are Few-Shot Learners

GPT-3 : Language Models are Few-Shot Learners 2020년 5월 OpenAI에서 발표한 Language Models are Few-Shot Learners, GPT-3 Paper에 대해 요약하고 정리해보려고 한다. ◼ 논문 링크 : Language Models are Few-Shot Learners, GPT-3 1. INTRODUCTION 최근 몇 년간 NLP 시스템에서 사전학습된 언어 표현(representations)을 사용하는 추세가 있었고, downstream transfer을 위한 점점 더 유연하고 작업에 구애받지 않는 방식으로 적용되었다. 먼저, 단어 벡터를 사용하는 단일 레이어 표현을 학습시켜 task-specific한 모델 구조에 입력되고, 더 강력한 표현..