GPT-3의 다섯 가지 한계
GPT-3의 과제별 성능, 물리 상식, 모델 규모, 기억 능력의 한계를 살펴봤습니다. 다음 단어 예측이 이해와 사고를 의미하는지에 대한 논쟁도 다뤘습니다.
#GPT-3#LLM
000
AI 기술 블로그 최신 글
필터 0
2020 인공지능 온라인 경진대회 참가기
2020 인공지능 온라인 경진대회 참가기
과학기술정보통신부 주최 인공지능 경진대회 참가기를 소개했습니다. 메트릭러닝과 간단한 보강 전략으로 얼굴 인식 과제 1위를 기록했습니다.
#ML#얼굴인식
500
GPT-3, 인류 역사상 가장 뛰어난 언어 AI
GPT-3의 다양한 언어 생성 사례와 다음 단어 예측 기반 학습 방식을 소개했습니다. 대규모 스케일과 파인튜닝 없는 범용성이 AGI 논의를 확장했음을 설명합니다.
#GPT#LLM
100
핑퐁팀 ML 세미나, 그 다섯 번째
Transformer 활용과 경량화 연구를 중심으로 시즌 5 ML 세미나 자료를 공유했습니다. 지식 증류, 양자화, 프루닝, NLP·기계번역 관련 논문 발표를 정리했습니다.
#ML#Transformer
100
핑퐁팀과 함께하는 ACL 2020 리뷰
ACL 2020의 제출·합격률과 Generation, Dialogue 등 주요 NLP 연구 경향을 분석했습니다. 대화, 생성, BERT 최적화 관련 논문 24편의 핵심 방법과 성과를 리뷰했습니다.
#NLP#Transformer
000
문서 이해 인공지능(AI) 연구 동향
문서 이해 인공지능(AI) 연구 동향
문서 이해 AI의 최신 연구 동향을 영수증과 인보이스 사례로 정리했습니다. 텍스트뿐 아니라 위치와 시각 정보를 함께 활용할 때 성능이 좋아짐을 비교했습니다.
#NLP#LayoutLM
800
꼼꼼하고 이해하기 쉬운 ELECTRA 논문 리뷰
ELECTRA의 RTD 사전학습 구조와 MLM·GAN 대비 차이를 정리했습니다. 모든 토큰을 분류해 적은 계산량으로 높은 성능을 낸 실험 결과를 살펴봤습니다.
#ELECTRA#NLP
200
꼼꼼하고 이해하기 쉬운 Reformer 리뷰
Reformer는 LSH Attention, Reversible Network, 청크 처리로 Transformer의 긴 입력 메모리 문제를 완화했습니다. 실험을 통해 성능 저하를 작게 유지하며 Attention 복잡도를 선형 수준으로 개선했음을 살펴봤습니다.
#Transformer#Reformer
000
TensorFlow TPU 학습 101
TensorFlow 2.0에서 XLA와 TPUStrategy로 TPU 학습을 구성하는 과정을 정리했습니다. Colab·GCP 사용법과 연결 불안정, 과금 관리 시 주의점을 설명합니다.
#TensorFlow#TPU
000
AWS Sagemaker Ground Truth로 훈련용 이미지를 편하게 분류하자
후기 이미지 분류 모델 재훈련을 위해 이미지 정제와 수작업 라벨링 방식을 비교했습니다. SageMaker Ground Truth의 협업 장점과 대규모 작업 비용 부담을 검토했습니다.
#SageMaker Ground Truth#AWS
000
AWS Sagemaker Ground Truth로 훈련용 이미지를 편하게 분류하자
훈련 이미지의 중복·손상 파일을 정리하고 수작업 분류 방식들을 비교했습니다. SageMaker Ground Truth로 협업 분류를 검토했지만 높은 과금이 도입 장벽이었습니다.
#AWS#SageMaker Ground Truth
1700
핑퐁팀 ML 세미나, 그 네번째
Transformer·임베딩·검색 중심의 2020년 ML 논문 여섯 편을 세미나 자료로 정리했습니다. 효율적 Attention, 스타일 변환, 사전학습 검색, Metric Learning의 적용 한계를 함께 분석했습니다.
#ML#Transformer
100
딥러닝 모델 서비스 A-Z 1편 - 연산 최적화 및 모델 경량화
딥러닝 추론 서비스를 위한 CPU·GPU 선택과 라이브러리, 서빙 환경 최적화 방안을 정리했습니다. 병렬처리 설정과 클라우드 전용 칩, Pruning·Quantization·Distillation 기반 경량화를 소개했습니다.
#ML#TensorRT
000
NeurIPS 2019 논문 통계
NeurIPS 2019 논문 통계
NeurIPS 2019 논문 통계를 통해 논문 수 증가와 acceptance rate 추세를 분석했습니다. 기관별 분포와 제목 단어 변화로 AI 연구 흐름도 함께 살펴보았습니다.
#NeurIPS#ML
600