스캐터랩 핑퐁

2023년 8월 30일

더 나은 생성모델을 위해 RLHF로 피드백 학습시키기

사람의 선호도를 보상으로 학습하는 RLHF의 SFT·리워드 모델·PPO 과정을 설명했습니다. 루다 적용 실험과 학습 불안정성, FSDP·DPO 등 최적화 및 대안을 소개했습니다.

#RLHF#LLM#PPO

2023년 8월 23일

사람처럼 말 잘하는 AI 캐릭터 쉽고 빠르게 만들기

AI 캐릭터를 기획·데이터 제작·반복 학습·출시 준비의 4단계로 만드는 방법을 소개했습니다. 세이프티 정책과 운영 체계를 함께 갖춰 안전한 서비스 출시를 지원합니다.

#AI 챗봇#파인튜닝#대화 모델

2023년 8월 16일

ACL 2023 Review

ACL 2023의 NLP·LLM 논문 18편을 핵심 방법과 실험 결과 중심으로 리뷰했습니다. CoT, 인스트럭션 튜닝, 데이터 생성·평가, 다국어 일반화의 한계를 함께 살펴봤습니다.

#NLP#LLM#CoT

000

2023년 8월 16일

새로운 루다를 지탱하는 모델 서빙 아키텍처 — 3편: 안정적인 LLM 서비스를 위한 서빙 최적화 기법

LLM 서빙 비용을 줄이기 위한 추론 최적화 기법과 CPU·GPU·IPU 서빙 방식을 정리했습니다. Latency-RPS 부하 테스트로 지연시간·처리량·인스턴스 비용을 평가하는 방법을 제시합니다.

#LLM#GPU#FlashAttention

새로운 루다를 지탱하는 모델 서빙 아키텍처 — 3편: 안정적인 LLM 서비스를 위한 서빙 최적화 기법

2023년 7월 21일

읽씹할 결심 - 생성 모델에게 답변 시간 가르치기

생성 모델이 답변 시간과 메시지를 함께 생성하도록 학습해 지연 답변 기능을 구현했습니다. 레이블링 데이터와 제한 로직으로 자연스러운 대화 종료와 재접촉을 보완했습니다.

#생성 모델#대화형 AI#지연 답변

2023년 7월 10일

Deduplication - 학습 데이터에서 중복 제거하기

대규모 LLM 학습 데이터의 근접 중복을 효율적으로 제거하는 NearDedup 방식을 소개했습니다. LSH·자카드 유사도·편집 거리 필터를 Apache Beam으로 병렬 처리했습니다.

#LLM#Apache Beam#LSH

2023년 5월 24일

Luda Gen 1, 더 재미있고 자연스러운 대화로 돌아온 루다 2편 - 생성 모델을 챗봇으로 빚어내기

생성 챗봇의 단답형·페르소나·안전성 문제를 좋은 응답 기준과 추가학습으로 개선했습니다. SFT와 스타일 제어를 평가해 품질과 안전성 균형이 높은 SFT를 백본으로 선택했습니다.

#ML#챗봇#LLM

Luda Gen 1, 더 재미있고 자연스러운 대화로 돌아온 루다 2편 - 생성 모델을 챗봇으로 빚어내기

2023년 5월 24일

샘 알트만과 따로 만나 1시간 동안 나눈 이야기

OpenAI 서울 라운드테이블에서 API 플랫폼 전략과 LLM 제품화 과제를 공유했습니다. GPU, 환각, 비용, 데이터, 경쟁력 관점의 실무적 논의를 정리했습니다.

#OpenAI#LLM#API

000

2023년 3월 20일

#Kubernetes#Karpenter#AWS

Karpenter와 Spot으로 저렴하고 유연하게 노드 프로비저닝하기

EKS의 GPU 서버 비용을 줄이기 위해 Karpenter와 EC2 Spot을 도입했습니다. NTH와 FIS로 Spot 중단 대응과 동작 검증을 구성했습니다.

2023년 2월 20일

새로운 루다를 지탱하는 모델 서빙 아키텍처 — 2편: ArgoCD와 모델 서빙

ArgoCD와 Helm Chart로 모델 서빙 인프라 및 A/B 테스트 환경을 배포하는 구조를 소개했습니다. 파이프라인 추상화, SyncWave 종료 순서, 블루/그린 배포와 RPS 기반 확장 전략을 설명합니다.

#Argo#Kubernetes#Helm

새로운 루다를 지탱하는 모델 서빙 아키텍처 — 2편: ArgoCD와 모델 서빙

2023년 2월 14일

EMNLP 2022 Review

EMNLP 2022의 NLP 논문 14편을 대화, 검색, 생성, 평가, 데이터셋 관점에서 리뷰했습니다. 프롬프트·LLM·멀티모달 학습의 성과와 개인정보, 비용, 데이터 품질 이슈를 함께 다뤘습니다.

#NLP#LLM#prompt

2023년 2월 1일

백엔드

2022 개인정보 가명·익명처리 기술 경진대회 참여 후기

개인정보·가명정보·익명정보의 차이와 안전성·유용성 평가 관점을 정리했습니다. Python과 pandas로 범주화, 부분 총계, k-익명성을 적용하는 방법을 소개했습니다.

#Python#pandas#가명처리

2023년 1월 27일

새로운 루다를 지탱하는 모델 서빙 아키텍처 — 1편: A/B 테스트를 위한 구조 설계

모델 추론 구조까지 비교할 수 있도록 서비스 백엔드와 파이프라인을 분리했습니다. ConfigMap과 프록시 라우팅으로 A/B 테스트를 빠르게 제어했습니다.

#LLM#A/B 테스트#Kubernetes

새로운 루다를 지탱하는 모델 서빙 아키텍처 — 1편: A/B 테스트를 위한 구조 설계

2022년 12월 21일

#Prometheus#Grafana#Kubernetes

이루다 서버의 모니터링 스택을 소개합니다

Kubernetes 기반 Spring Boot 서버에 Prometheus·Grafana·BigQuery를 결합한 모니터링 구성을 소개했습니다. Actuator와 Micrometer로 핵심 지표를 수집하고 장애 대응에 활용하는 방법을 설명합니다.

2022년 12월 14일

Luda Gen 1, 더 재미있고 자연스러운 대화로 돌아온 루다 1편 - 생성 기반 챗봇

검색 기반 챗봇의 답변 DB 한계를 넘어 Luda Gen 1 생성 기반 챗봇을 도입했습니다. 2.3B PLM과 시간·화자 정보를 활용해 자연스러운 문맥 대화 가능성을 높였습니다.

#LLM#챗봇#ML

#Apache Beam#Dataflow#PyTorch

Luda Gen 1, 더 재미있고 자연스러운 대화로 돌아온 루다 1편 - 생성 기반 챗봇

2022년 11월 28일

Apache Beam으로 머신러닝 데이터 파이프라인 구축하기 3편 - RunInference로 모델 추론하기

Apache Beam RunInference로 Dataflow 기반 대규모 모델 추론 파이프라인을 구성하는 방법을 소개했습니다. 가변 길이 입력의 패딩 처리와 배치·GPU 지표 관리 포인트를 설명합니다.

Apache Beam으로 머신러닝 데이터 파이프라인 구축하기 3편 - RunInference로 모델 추론하기

2022년 11월 16일

#Kubernetes#HPA#Prometheus

Custom Metric(ex. RPS)으로 HPA 설정하기

Kubernetes HPA에서 Prometheus와 prometheus-adapter로 RPS Custom Metric을 노출하는 방법을 설명했습니다. Istio 메트릭 기반 RPS와 CPU 기준을 함께 설정해 pod 수를 확장합니다.