스캐터랩 핑퐁

2023년 5월 24일

Luda Gen 1, 더 재미있고 자연스러운 대화로 돌아온 루다 2편 - 생성 모델을 챗봇으로 빚어내기

생성 챗봇의 단답형·페르소나·안전성 문제를 좋은 응답 기준과 추가학습으로 개선했습니다. SFT와 스타일 제어를 평가해 품질과 안전성 균형이 높은 SFT를 백본으로 선택했습니다.

#ML#챗봇#LLM

Luda Gen 1, 더 재미있고 자연스러운 대화로 돌아온 루다 2편 - 생성 모델을 챗봇으로 빚어내기

2023년 5월 24일

샘 알트만과 따로 만나 1시간 동안 나눈 이야기

OpenAI 서울 라운드테이블에서 API 플랫폼 전략과 LLM 제품화 과제를 공유했습니다. GPU, 환각, 비용, 데이터, 경쟁력 관점의 실무적 논의를 정리했습니다.

#OpenAI#LLM#API

2023년 2월 14일

EMNLP 2022 Review

EMNLP 2022의 NLP 논문 14편을 대화, 검색, 생성, 평가, 데이터셋 관점에서 리뷰했습니다. 프롬프트·LLM·멀티모달 학습의 성과와 개인정보, 비용, 데이터 품질 이슈를 함께 다뤘습니다.

#NLP#LLM#prompt

2023년 1월 27일

새로운 루다를 지탱하는 모델 서빙 아키텍처 — 1편: A/B 테스트를 위한 구조 설계

모델 추론 구조까지 비교할 수 있도록 서비스 백엔드와 파이프라인을 분리했습니다. ConfigMap과 프록시 라우팅으로 A/B 테스트를 빠르게 제어했습니다.

#LLM#A/B 테스트#Kubernetes

새로운 루다를 지탱하는 모델 서빙 아키텍처 — 1편: A/B 테스트를 위한 구조 설계

2022년 12월 14일

Luda Gen 1, 더 재미있고 자연스러운 대화로 돌아온 루다 1편 - 생성 기반 챗봇

검색 기반 챗봇의 답변 DB 한계를 넘어 Luda Gen 1 생성 기반 챗봇을 도입했습니다. 2.3B PLM과 시간·화자 정보를 활용해 자연스러운 문맥 대화 가능성을 높였습니다.

#LLM#챗봇#ML

#Apache Beam#Dataflow#PyTorch

Luda Gen 1, 더 재미있고 자연스러운 대화로 돌아온 루다 1편 - 생성 기반 챗봇

2022년 11월 28일

Apache Beam으로 머신러닝 데이터 파이프라인 구축하기 3편 - RunInference로 모델 추론하기

Apache Beam RunInference로 Dataflow 기반 대규모 모델 추론 파이프라인을 구성하는 방법을 소개했습니다. 가변 길이 입력의 패딩 처리와 배치·GPU 지표 관리 포인트를 설명합니다.

200

Apache Beam으로 머신러닝 데이터 파이프라인 구축하기 3편 - RunInference로 모델 추론하기

2022년 11월 9일

루다, 눈을 뜨다! 포토챗 베타의 멀티모달 기술 소개

친구 같은 이미지 반응을 위한 이미지 코멘팅 데이터셋과 리트리벌·생성 모델을 비교했습니다. Swin Transformer 기반 리트리벌 모델을 포토챗 베타에 적용하고 멀티턴·Scene Text 활용을 과제로 제시했습니다.

#멀티모달#CLIP#Swin Transformer

#TFX#TensorFlow#Apache Beam

2022년 9월 13일

TFX 머신러닝 파이프라인 사용하기

TFX 커스텀 컴포넌트로 신규 데이터부터 학습·모델 등록까지의 파이프라인을 구성했습니다. Apache Beam과 사내 레지스트리를 연동하는 구현·운영 주의점을 설명합니다.

2022년 8월 17일

VPT: 다이아몬드 곡괭이를 만들기 위한 여정

OpenAI VPT의 마인크래프트 다이아몬드 곡괭이 제작 학습 과정을 리뷰했습니다. 영상에서 추정한 행동 데이터와 사전학습·미세조정·강화학습의 결합을 설명합니다.

#ML#강화 학습#모방 학습

#AWS#Inferentia#TensorFlow

2022년 8월 16일

AWS Inferentia를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 2탄

AWS Inferentia 기반 TensorFlow 모델 서빙의 정합성 검증과 EKS 배포 과정을 소개했습니다. 토크나이저 분리와 동적 배치로 처리량을 높이고 비용 절감 가능성을 확인했습니다.

#ML#NLP#continual learning

AWS Inferentia를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 2탄

2022년 7월 20일

Continual Learning: 꾸준히 성장하는 모델을 만들기 위한 기술

지속 학습에서 발생하는 Catastrophic Forgetting 문제와 주요 해결 방법을 분류해 소개했습니다. 정규화, 메모리 재학습, 구조 확장, 지식 증류의 특성을 설명했습니다.

#AWS Inferentia#TensorFlow#Neuron SDK

Continual Learning: 꾸준히 성장하는 모델을 만들기 위한 기술

2022년 7월 13일

AWS Inferentia 를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 1탄

AWS Inferentia로 TensorFlow RoBERTa 모델을 컴파일하고 GPU 인스턴스와 비용·성능을 비교했습니다. 1000RPS 기준 Inferentia의 높은 비용 효율과 동적 그래프 제약을 함께 정리했습니다.

#NLP#BERT#contrastive learning

AWS Inferentia 를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 1탄

2022년 6월 16일

ACL 2022 Review

ACL 2022의 NLP 연구 12편을 프롬프트, 문장 표현, 대화, 멀티모달 평가 관점에서 리뷰했습니다. 대조 학습과 평가 체계 개선 등 주요 제안과 실험 결과를 정리했습니다.

#Apache Beam#Python#Dataflow

2022년 6월 9일

Apache Beam으로 머신러닝 데이터 파이프라인 구축하기 2편 - 개발 및 최적화

Apache Beam 파이프라인을 Composite PTransform으로 모듈화하고 병렬 처리 병목을 최적화했습니다. Shared Object, 배치, Side Input으로 ML 추론과 Faiss 벡터 검색의 메모리·처리 문제를 다뤘습니다.

Apache Beam으로 머신러닝 데이터 파이프라인 구축하기 2편 - 개발 및 최적화

2022년 5월 25일

알라꿍달라꿍의 대화요약 이모저모

외부 데이터 제한 환경에서 BART 기반 한국어 대화요약 모델을 개선한 경진대회 사례를 공유했습니다. 사전학습·R3F·강화학습을 조합해 ROUGE-L 기준 성능을 높이고 본선 1위를 달성했습니다.

#BART#NLP#대화요약

2021년 1월 6일

TensorFlow Custom Op으로 데이터 변환 최적화하기

TensorFlow 기반 N-gram 마스킹 위치 계산 병목을 C++ Custom Op으로 교체했습니다. 문장당 처리 시간을 4.697ms에서 17.147μs로 줄이며 약 250배 성능을 개선했습니다.

#TensorFlow#C++#TFRecord

#TensorFlow#PyTorch#TensorFlow Serving

2020년 12월 4일

하나의 조직에서 TensorFlow와 PyTorch 동시 활용하기

PyTorch 리서치와 TensorFlow Serving 배포를 병행한 모델 운영 방식을 소개했습니다. 양방향 가중치 변환과 결과 비교 테스트, 레이어별 차이 대응 방법을 정리했습니다.