AI
ACL 2023 Review
두줄요약
ACL 2023의 NLP·LLM 논문 18편을 핵심 방법과 실험 결과 중심으로 리뷰했습니다. CoT, 인스트럭션 튜닝, 데이터 생성·평가, 다국어 일반화의 한계를 함께 살펴봤습니다.
구조와 흐름
- ACL 2023 논문 18편을 대상으로 LLM·NLP 연구 주제별 핵심 방법과 실험 결과를 정리한 리뷰
- 유머 이해, 조건부 생성 평가, 데이터 생성·주석, 다국어 일반화, NER, 챗봇 등 폭넓은 과제 포함
선택 이유
- CoT 프롬프팅, 인스트럭션 튜닝, 모델 앙상블, 인간 피드백, 지식 증류 등 LLM 성능 향상 접근법 중심 선정
- 벤치마크·인간 평가·데이터셋 편향 검토를 통한 모델 평가 신뢰성 관심
장단점
- LLM 기반 평가의 재현성·비용 효율성과 사실성 평가 부적합·편향 가능성
- 다중 LLM 답변 융합의 성능 향상과 추론 시간 증가
- 사람-AI 협업 데이터 생성의 다양성·정확성 개선 가능성과 인간 개입 필요성
적용해볼 점
- 프롬프트 설계 시 레이블 설명, 질의 관련성, 추론 단계 순서의 영향 검토
- 작은 모델에 대형 모델의 다중 CoT 추론 경로를 증류하는 방식 검토
- 다양한 문화권 레이블러와 최신 테스트셋을 활용한 편향·일반화 평가
