AI
GPT-3의 다섯 가지 한계
두줄요약
GPT-3의 과제별 성능, 물리 상식, 모델 규모, 기억 능력의 한계를 살펴봤습니다. 다음 단어 예측이 이해와 사고를 의미하는지에 대한 논쟁도 다뤘습니다.
핵심 내용
- GPT-3의 범용적 언어 능력과 특정 과제 최적화 모델 대비 성능 한계
- 물리적 상식, 장기 기억, 다음 단어 예측 기반 학습을 둘러싼 제약과 논쟁
장단점
- 42개 언어 과제에서 폭넓은 성능을 보이지만 일부 과제만 기존 연구 성능 상회
- 텍스트 기반 학습으로 시각·경험 정보와 현실 세계 상식에 상대적으로 취약
성능/운영 포인트
- 1,750억 파라미터 규모에 따른 높은 학습·추론 비용과 재학습 부담
- Transformer 입력 문맥 2,048토큰 제약으로 장기 기억이 필요한 과제에 한계
적용해볼 점
- 이미지·비디오·로봇 경험 등 멀티모달 학습을 통한 물리 세계 이해 보완 가능성
- 모델 규모 확대 외 학습 효율, 기억 구조, 언어 이해 방식 연구 필요성