ACL 2023 Review
ACL 2023의 NLP·LLM 논문 18편을 핵심 방법과 실험 결과 중심으로 리뷰했습니다. CoT, 인스트럭션 튜닝, 데이터 생성·평가, 다국어 일반화의 한계를 함께 살펴봤습니다.
#NLP#LLM
000
ACL 2023의 NLP·LLM 논문 18편을 핵심 방법과 실험 결과 중심으로 리뷰했습니다. CoT, 인스트럭션 튜닝, 데이터 생성·평가, 다국어 일반화의 한계를 함께 살펴봤습니다.
GPT-3를 57개 분야 문제로 평가한 벤치마크와 43.9% 정답률을 살펴봤습니다. 모델 규모와 과제 특화 학습이 성능·효율에 미치는 영향을 정리했습니다.
GPT-3의 과제별 성능, 물리 상식, 모델 규모, 기억 능력의 한계를 살펴봤습니다. 다음 단어 예측이 이해와 사고를 의미하는지에 대한 논쟁도 다뤘습니다.