레거시 GPU에 날개 달기: 극한의 서빙 최적화 가이드
BERT 기반 SPLADE 모델의 대규모 실시간 서빙 최적화 방법을 소개했습니다. FlashTokenizer와 전/후처리, 추론 최적화로 레거시 GPU 성능을 끌어올린 사례입니다.
#BERT#LLM#모델 추론
10300
레거시 GPU에 날개 달기: 극한의 서빙 최적화 가이드
태그
BERT 기술 블로그 글
BERT 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
전체 17개최신 17개 표시
관련 태그
최신 게시글
17개 표시
SplitQuant: 엣지 AI 기기에서의 신경망 저비트 양자화를 위한 레이어 분할 기법
SplitQuant는 레이어를 클러스터 기반으로 분할해 저비트 양자화의 이상치 영향을 줄였습니다. BERT-Tiny 실험에서 INT2 정확도를 FP32 수준에 가깝게 향상했습니다.
#엣지 AI#양자화#DNN
100
임베딩 모델로 데이터 의미 압축하기
텍스트를 숫자와 벡터로 표현하는 여러 방법과 문장 임베딩 기반 의미 검색을 정리했습니다. 또한 BERT, FAISS, 하이브리드 검색의 구조와 활용 방향을 소개했습니다.
#LLM#임베딩#검색
3900
미우미우 핑크핀은 왜 안나오나요 ?
SSG.COM 검색 실패를 줄이기 위해 BERT 계열 모델과 벡터 DB 기반 매칭 방식을 도입했습니다. 적용 후 전체 검색 실패의 46%를 성공으로 전환했고 정확도 75%를 달성했습니다.
#검색#BERT#LLM
4600
AI를 통한 개인정보 식별 및 분석 개선
QueryPie의 AI 분류기로 개인정보를 문맥 기반으로 식별하고 규제 준수를 지원하는 방법을 소개했습니다. 정규식 기반 한계를 보완하며 정확도와 운영 효율을 높인 사례를 설명했습니다.
#개인정보#DB#BERT
2300
Multi Task Learning 기반 챗봇 모델 개발
상위·하위 인텐트를 함께 추론하는 챗봇을 위해 MTL 기반 PLE 모델과 CurricularFace loss를 적용했습니다. 기존 앙상블보다 성능과 관리 효율을 함께 개선한 사례를 소개했습니다.
#LLM#NLP#Multi Task Learning
2900
ACL 2022 Review
ACL 2022의 NLP 연구 12편을 프롬프트, 문장 표현, 대화, 멀티모달 평가 관점에서 리뷰했습니다. 대조 학습과 평가 체계 개선 등 주요 제안과 실험 결과를 정리했습니다.
#NLP#BERT#contrastive learning
100
카카오페이 유저 프로파일링, 페이프로파일
카카오페이는 이용 이력을 Feature·모델·세그먼트로 가공하는 페이프로파일 구조를 소개했습니다. 분류·NLP·GNN 기술로 개인화 서비스와 마이데이터 활용을 고도화합니다.
#ML#NLP#BERT
1600
자연어처리와 HR analytics
BERT의 대표 NLP 과제와 데이터셋을 입력·출력 구조 중심으로 정리했습니다. 이를 이력서 필터링, 평가 코멘트 분석, 채용 Q&A에 적용하는 방안을 제시합니다.
#NLP#HR analytics#BERT
2000
Beauty Domain-Specific Pre-trained Language Model 개발하기
뷰티 리뷰·제품 정보와 공개 데이터를 학습한 도메인 특화 ELECTRA 기반 PLM 개발 과정을 소개했습니다. 리뷰 분류 성능을 높이고 검수 자동화와 제품 속성 추출에 적용했습니다.
#BERT#NLP#ELECTRA
100
AI를 활용한 고용률 예측 모델 개발기(1)
뉴스 정보를 이용해 고용률 변화를 예측하는 멀티모달 모델 개발 과정을 소개했습니다. 이번 글에서는 고용 기사 분류와 감정 분석을 위한 KoELECTRA 기반 설계를 다뤘습니다.
#LLM#NLP#BERT
800
AI를 활용한 고용률 예측 모델 개발기(1)
딥러닝 모델 서비스 A-Z 2편 - Knowledge Distillation
대형 BERT 기반 대화 모델을 Knowledge Distillation으로 경량화한 사례를 소개했습니다. 임베딩·로짓 증류로 약 3배 추론 속도와 높은 정확도를 확보했습니다.
#Knowledge Distillation#BERT#NLP
000
핑퐁팀 ML 세미나, 그 다섯 번째
Transformer 활용과 경량화 연구를 중심으로 시즌 5 ML 세미나 자료를 공유했습니다. 지식 증류, 양자화, 프루닝, NLP·기계번역 관련 논문 발표를 정리했습니다.
#ML#Transformer#NLP
100
핑퐁팀과 함께하는 ACL 2020 리뷰
ACL 2020의 제출·합격률과 Generation, Dialogue 등 주요 NLP 연구 경향을 분석했습니다. 대화, 생성, BERT 최적화 관련 논문 24편의 핵심 방법과 성과를 리뷰했습니다.
#NLP#Transformer#BERT
000
Transformer - Harder, Better, Faster, Stronger
Transformer의 Attention 구조와 GPT·BERT의 차이를 설명했습니다. 성능 향상과 경량화를 위한 후속 모델·압축 기법을 비교했습니다.
#Transformer#NLP#BERT
100
EMNLP 2019 Review - 핑퐁팀이 보고, 듣고, 느낀 점
EMNLP 2019에서 주목한 NLP 논문 6편의 방법과 실험 결과를 리뷰했습니다. 공감 대화, 멀티모달 학습, 노이즈 레이블, 생성 구조, 수사 추론의 과제를 짚었습니다.
#EMNLP#NLP#Transformer
200
EMNLP-IJCNLP 2019 프리뷰
EMNLP-IJCNLP 2019의 주요 키워드와 승인율 추이를 정리했습니다. 생성·BERT·외부 지식·편향 관련 관심 논문 12편을 소개합니다.
#NLP#EMNLP#BERT
000
