스캐터랩 핑퐁

도메인blog.pingpong.us

주요 카테고리 AI · DevOps

활동 요약

대표 인기 포스트전문가의 절반을 내보냈습니다33 조회33 조회

최근 30일: 2개
평균 조회: 2
누적 조회: 185
전체 글: 79개
마지막 발행: 2026. 10. 30.

블로그 방문

스캐터랩 핑퐁 기술 블로그 글 (58)

2026년 10월 30일

전문가의 절반을 내보냈습니다

MoE 전문가 사용량 편중을 분석해 REAP 기반 절반 프루닝을 적용했습니다. 유저 지표 차이 없이 GPU당 대화 처리량을 1.6배로 높였습니다.

#LLM#MoE#model

3300

2026년 8월 31일

비용과 성능을 한번에 - 언어 특화 토크나이저 도입기

한국어·일본어 전용 토크나이저를 기존 LLM 백본에 이식해 토큰 효율을 개선했습니다. 실서비스 A/B에서 GPU 사용량과 응답 지연을 줄이고 이용 시간을 높였습니다.

#LLM#토크나이저#BPE

200

2026년 7월 29일

zeta labs 개발기 - AI와 함께라면 누구나 만들 수 있다

zeta labs는 문서, 에이전트, 자동 검증, 분석을 연결해 누구나 제품 개발 사이클을 돌리는 환경을 구축했습니다. 주 2회 배포와 사용자 배치 비교로 개선 효과를 측정하며 클로즈베타를 운영했습니다.

#LLM#Claude#CI/CD

300

2026년 6월 10일

유저와 함께 만드는 LLM 2편 — 제타에 Online Learning 도입하기

비동기 GRPO 인프라와 TIS 보정으로 rollout·학습 간 확률 불일치를 안정화했습니다. 리워드 해킹을 완화해 DPO 대비 이용시간과 리텐션을 개선했습니다.

#LLM#GRPO#RLHF

1200

유저와 함께 만드는 LLM 2편 — 제타에 Online Learning 도입하기

2026년 5월 6일

유저와 함께 만드는 LLM — 제타에 Preference Optimization 도입하기

답변 재생성 시그널을 정제해 DPO 학습용 선호 페어를 구성했습니다. 강한 거부 신호와 분포 조정으로 이용 시간·리텐션을 개선했습니다.

#LLM#DPO#Preference Optimization

300

유저와 함께 만드는 LLM — 제타에 Preference Optimization 도입하기

2026년 2월 12일

스캐터랩이 가장 재밌는 LLM을 찾는 방법

실제 유저 반응으로 LLM의 재미를 평가하기 위해 A/B 테스트, MAB, 리더보드를 활용했습니다. 세 방식의 편향과 리스크를 보완하며 모델 탐색부터 최종 배포 검증까지 설계했습니다.

#LLM#A/B 테스트#MAB

200

2025년 6월 5일

AI 엔터테인먼트 제품은 어떻게 만들까?

제타를 캐릭터 대화 서비스가 아닌 사용자가 이야기를 만드는 내러티브 머신으로 재정의했습니다. 자체 모델과 사용자 피드백을 연결한 데이터-모델 플라이휠로 몰입도와 성장을 강화했습니다.

#LLM#모델 학습#데이터 분석

200

2025년 6월 5일

zeta: 엔터테인먼트의 새로운 패러다임

제타는 Spotwrite-1으로 사용자와 실시간 서사를 만드는 AI 네이티브 엔터테인먼트를 제시했습니다. 재미 중심 모델과 광고·구독 구조로 몰입도 및 글로벌 확장 가능성을 강조했습니다.

#LLM#Spotwrite-1#엔터테인먼트

300

2025년 5월 28일

매주 새로운 LLM 모델을 배포하는 제타의 AI 팀 이야기

제타 AI팀은 대화 기억력과 서사적 몰입을 개선하며 자체 LLM을 빠르게 배포했습니다. 사용자 피드백을 학습에 반영하는 Data Flywheel과 A/B 테스트로 재미를 검증합니다.

#LLM#ML#Data Flywheel

500

2023년 11월 17일

RLHF 외에 LLM이 피드백을 학습할 수 있는 방법은 무엇이 있을까?

RLHF의 복잡성과 불안정성을 줄이기 위한 RRHF·SLiC-HF·DPO·Rejection Sampling을 비교했습니다. 실험에서는 Rejection Sampling과 DPO가 유용성·응답 안정성 측면에서 두드러졌습니다.

#LLM#RLHF#DPO

200

2023년 9월 13일

멀티턴 이미지 대화: 조규성 vs 안정환, 루다야 누가 더 잘생겼어?

생성형 VLM과 멀티턴 이미지 대화 데이터를 구축해 포토챗의 문맥 이해를 개선했습니다. 언어 모델 고정과 이미지-캡션 사전학습으로 리트리벌 모델보다 높은 성능을 확인했습니다.

#VLM#GPT-2#멀티모달

200

2023년 9월 13일

최대 24배 빠른 vLLM의 비밀 파헤치기

vLLM의 PagedAttention과 Continuous Batching을 코드 흐름 중심으로 분석했습니다. KV 캐시 블록 관리, 스케줄링, CUDA 기반 Single Query Attention을 설명합니다.

#vLLM#PagedAttention#KV 캐시

200

2023년 9월 6일

감성 AI 시장, 얼마나 커질까?

해외 감성 AI 사례와 국내 팬덤·크리에이터 서비스의 접목 가능성을 분석했습니다. 몰입감 있는 관계 형성과 함께 어색한 모방, 과몰입 위험도 함께 짚었습니다.

#LLM#GPT#Character.AI

100

2023년 8월 30일

더 나은 생성모델을 위해 RLHF로 피드백 학습시키기

사람의 선호도를 보상으로 학습하는 RLHF의 SFT·리워드 모델·PPO 과정을 설명했습니다. 루다 적용 실험과 학습 불안정성, FSDP·DPO 등 최적화 및 대안을 소개했습니다.

#RLHF#LLM#PPO

300

2023년 8월 23일

사람처럼 말 잘하는 AI 캐릭터 쉽고 빠르게 만들기

AI 캐릭터를 기획·데이터 제작·반복 학습·출시 준비의 4단계로 만드는 방법을 소개했습니다. 세이프티 정책과 운영 체계를 함께 갖춰 안전한 서비스 출시를 지원합니다.

#AI 챗봇#파인튜닝#대화 모델

100

2023년 8월 16일

ACL 2023 Review

ACL 2023의 NLP·LLM 논문 18편을 핵심 방법과 실험 결과 중심으로 리뷰했습니다. CoT, 인스트럭션 튜닝, 데이터 생성·평가, 다국어 일반화의 한계를 함께 살펴봤습니다.

#NLP#LLM#CoT

000

2023년 8월 16일

새로운 루다를 지탱하는 모델 서빙 아키텍처 — 3편: 안정적인 LLM 서비스를 위한 서빙 최적화 기법

LLM 서빙 비용을 줄이기 위한 추론 최적화 기법과 CPU·GPU·IPU 서빙 방식을 정리했습니다. Latency-RPS 부하 테스트로 지연시간·처리량·인스턴스 비용을 평가하는 방법을 제시합니다.

#LLM#GPU#FlashAttention

300

새로운 루다를 지탱하는 모델 서빙 아키텍처 — 3편: 안정적인 LLM 서비스를 위한 서빙 최적화 기법

2023년 7월 21일

읽씹할 결심 - 생성 모델에게 답변 시간 가르치기

생성 모델이 답변 시간과 메시지를 함께 생성하도록 학습해 지연 답변 기능을 구현했습니다. 레이블링 데이터와 제한 로직으로 자연스러운 대화 종료와 재접촉을 보완했습니다.

#생성 모델#대화형 AI#지연 답변

200