전문가의 절반을 내보냈습니다
MoE 전문가 사용량 편중을 분석해 REAP 기반 절반 프루닝을 적용했습니다. 유저 지표 차이 없이 GPU당 대화 처리량을 1.6배로 높였습니다.
#LLM#MoE#model
3300
모든 블로그
대표 인기 포스트전문가의 절반을 내보냈습니다33 조회33 조회 AI 기타
AI
AI
AI
AI
백엔드
데브옵스
AI
기타
AI
AI
AI
AI
백엔드
데브옵스
AI
AI
스캐터랩 핑퐁
주요 카테고리 AI · DevOps
활동 요약
- 최근 30일
- 2개
- 평균 조회
- 2
- 누적 조회
- 185
- 전체 글
- 79개
- 마지막 발행
- 2026. 10. 30.
스캐터랩 핑퐁 기술 블로그 글 (79)
폭풍우의 끝에서 제타民을 만나다
폭풍우 속 하라주쿠 첫 오프라인 이벤트에 200명 이상이 방문하며 일본 유저의 높은 애정을 확인했습니다. 현장 반응을 바탕으로 공간·굿즈·대기 경험을 확장하는 다음 이벤트를 준비합니다.
#zeta#branding#marketing
2100
비용과 성능을 한번에 - 언어 특화 토크나이저 도입기
한국어·일본어 전용 토크나이저를 기존 LLM 백본에 이식해 토큰 효율을 개선했습니다. 실서비스 A/B에서 GPU 사용량과 응답 지연을 줄이고 이용 시간을 높였습니다.
#LLM#토크나이저#BPE
200
zeta labs 개발기 - AI와 함께라면 누구나 만들 수 있다
zeta labs는 문서, 에이전트, 자동 검증, 분석을 연결해 누구나 제품 개발 사이클을 돌리는 환경을 구축했습니다. 주 2회 배포와 사용자 배치 비교로 개선 효과를 측정하며 클로즈베타를 운영했습니다.
#LLM#Claude#CI/CD
300
유저와 함께 만드는 LLM 2편 — 제타에 Online Learning 도입하기
비동기 GRPO 인프라와 TIS 보정으로 rollout·학습 간 확률 불일치를 안정화했습니다. 리워드 해킹을 완화해 DPO 대비 이용시간과 리텐션을 개선했습니다.
#LLM#GRPO#RLHF
1200
유저와 함께 만드는 LLM — 제타에 Preference Optimization 도입하기
답변 재생성 시그널을 정제해 DPO 학습용 선호 페어를 구성했습니다. 강한 거부 신호와 분포 조정으로 이용 시간·리텐션을 개선했습니다.
#LLM#DPO#Preference Optimization
300
ChatGPT보다 오래 사용하는 AI 서비스, 그 뒤의 백엔드 팀 이야기
제타 백엔드 팀의 비동기·다중 저장소·멀티 클러스터 기반 운영 구조를 소개했습니다. 실험 인프라와 자동화, 장애 재발 방지로 대규모 트래픽을 관리합니다.
#Kotlin#Spring Boot#WebFlux
200
월 150만 유저가 사용하는 LLM Inference 인프라 안정적으로 운영하기
멀티 리전 AKS, Karmada, Istio로 대규모 LLM 추론 인프라를 중앙 관리했습니다. 스토리지·이미지 배포를 통합해 비용과 운영 리소스를 절감했습니다.
#LLM#Kubernetes#Azure
500
스캐터랩이 가장 재밌는 LLM을 찾는 방법
실제 유저 반응으로 LLM의 재미를 평가하기 위해 A/B 테스트, MAB, 리더보드를 활용했습니다. 세 방식의 편향과 리스크를 보완하며 모델 탐색부터 최종 배포 검증까지 설계했습니다.
#LLM#A/B 테스트#MAB
200
제타의 매력을 세상에 전파하는 팀
제타 마케팅팀은 오가닉 콘텐츠와 UGC 캠페인으로 빠른 사용자 성장을 이끌었습니다. 앞으로는 데이터 기반 퍼포먼스 마케팅을 결합해 안정적 성장을 추진합니다.
#UGC#퍼포먼스 마케팅#데이터 분석
300
AI 엔터테인먼트 제품은 어떻게 만들까?
제타를 캐릭터 대화 서비스가 아닌 사용자가 이야기를 만드는 내러티브 머신으로 재정의했습니다. 자체 모델과 사용자 피드백을 연결한 데이터-모델 플라이휠로 몰입도와 성장을 강화했습니다.
#LLM#모델 학습#데이터 분석
200
zeta: 엔터테인먼트의 새로운 패러다임
제타는 Spotwrite-1으로 사용자와 실시간 서사를 만드는 AI 네이티브 엔터테인먼트를 제시했습니다. 재미 중심 모델과 광고·구독 구조로 몰입도 및 글로벌 확장 가능성을 강조했습니다.
#LLM#Spotwrite-1#엔터테인먼트
300
매주 새로운 LLM 모델을 배포하는 제타의 AI 팀 이야기
제타 AI팀은 대화 기억력과 서사적 몰입을 개선하며 자체 LLM을 빠르게 배포했습니다. 사용자 피드백을 학습에 반영하는 Data Flywheel과 A/B 테스트로 재미를 검증합니다.
#LLM#ML#Data Flywheel
500
RLHF 외에 LLM이 피드백을 학습할 수 있는 방법은 무엇이 있을까?
RLHF의 복잡성과 불안정성을 줄이기 위한 RRHF·SLiC-HF·DPO·Rejection Sampling을 비교했습니다. 실험에서는 Rejection Sampling과 DPO가 유용성·응답 안정성 측면에서 두드러졌습니다.
#LLM#RLHF#DPO
200
루다 서버에서 루다의 개인화 메시지를 처리하는 방법
Kotlin Reflection과 커스텀 어노테이션으로 개인화 메시지 토큰을 치환하는 방식을 소개했습니다. use-site target과 Hibernate 프록시로 인한 누락 문제의 해결법을 설명합니다.
#Kotlin#JPA#Hibernate
100
루다 선톡을 대비하는법
선톡으로 인한 급격한 트래픽에 대비해 발송 예정 메시지 수 기반의 Prescaler를 설계했습니다. Custom Resource와 Controller로 HPA의 minReplicas를 사전 조정했습니다.
#Kubernetes#HPA#Prometheus
200
멀티턴 이미지 대화: 조규성 vs 안정환, 루다야 누가 더 잘생겼어?
생성형 VLM과 멀티턴 이미지 대화 데이터를 구축해 포토챗의 문맥 이해를 개선했습니다. 언어 모델 고정과 이미지-캡션 사전학습으로 리트리벌 모델보다 높은 성능을 확인했습니다.
#VLM#GPT-2#멀티모달
200
최대 24배 빠른 vLLM의 비밀 파헤치기
vLLM의 PagedAttention과 Continuous Batching을 코드 흐름 중심으로 분석했습니다. KV 캐시 블록 관리, 스케줄링, CUDA 기반 Single Query Attention을 설명합니다.
#vLLM#PagedAttention#KV 캐시
200