신뢰할 수 있는 메트릭과 실험 플랫폼
Event·Metric Config와 증분 집계로 실험 메트릭 계산을 표준화했습니다. Z-test·Delta Method와 통합 UI로 결과 해석 불일치를 줄였습니다.
#A/B 테스트#Spark
000
국내 IT 기업 기술 블로그 최신 글
필터 1
오늘의집 검색/디스플레이 광고 내재화 프로젝트 #2
검색·디스플레이 광고 내재화 과정에서 Two Tower와 SASRec 기반 후보 생성을 고도화했습니다. Calibration·랭킹 손실·피처 표현 개선으로 CTR과 광고 수익 지표를 높였습니다.
#Two Tower#SASRec
000
직관이 아닌 데이터로: NOL PM의 실험 설계 이야기
직관이 아닌 데이터로: NOL PM의 실험 설계 이야기
PM이 직관이 아닌 데이터로 가설을 검증하는 실험 설계 방법을 정리했습니다. NOL 사례를 통해 작은 UI 변화도 전환과 경험 개선으로 이어질 수 있음을 보여주었습니다.
#A/B 테스트#SQL
6000
오늘의집 검색/디스플레이 광고 내재화 프로젝트 #1
검색·추천 결합과 실험 자동화로 광고 내재화 초기의 낮은 CTR 문제를 개선했습니다. 실시간 지표와 서버 기반 설정으로 빠른 실험·런칭 사이클을 구축했습니다.
#검색 광고#추천 시스템
000
“함께 구매하면 좋은 상품” 추천 모델 고도화
“함께 구매하면 좋은 상품” 추천 모델 고도화
장바구니 맥락을 반영한 추천 모델로 Item2Vec의 한계를 개선했습니다. 오프라인 평가와 A/B 테스트에서 담기율, 다양성, 주문율이 함께 향상되었습니다.
#ML#추천
7000
동적 사용자 분할을 활용한 새로운 A/B 테스트 시스템을 소개합니다
사용자 세그먼트 기반으로 A/B 테스트 그룹을 나누는 동적 분할 시스템을 소개했습니다. 타겟팅·할당·로그 수집 흐름과 실제 활용 사례도 함께 정리했습니다.
#A/B 테스트#Spark
9900
왜 막상 배포하면 효과가 없지? 타겟 지표에 맞는 ML모델 train/eval 설계하기
실제 서비스에 맞는 ML 타겟 메트릭과 학습·평가 설계를 소개했습니다. 랜덤 수집 데이터와 relative mean CR lift로 배포 효과를 오프라인에서 가늠했습니다.
#ML#A/B 테스트
5000
개인화 추천 시스템 1편 - 유저의 행동은 “언어”일까? : Collaborative Embedding 구축기 (feat. Knowledge Distillation)
상품 텍스트를 Semantic ID로 압축하고 유저 행동을 Transformer로 해석해 개인화 추천 모델을 구축했습니다. 지식 증류와 데이터 엔지니어링으로 정확도와 속도를 함께 개선하고 A/B 테스트 성과를 확인했습니다.
#추천#Transformer
10400
쿠팡 파트너스
개발자를 위한 서적을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발서적#프로그래밍
개인화 추천 시스템 1편 - 유저의 행동은 “언어”일까? : Collaborative Embedding 구축기 (feat. Knowledge Distillation)
상품 텍스트와 행동 시퀀스를 결합한 Collaborative Embedding 추천 모델을 구축했습니다. 지식 증류로 검색 성능을 높이고 A/B·CRM 테스트의 지표 개선을 확인했습니다.
#추천 시스템#Transformer
000
어떤 광고가 돈이 될까? AI 기반 광고 수익 최적화 (SK AI SUMMIT 발표)
어떤 광고가 돈이 될까? AI 기반 광고 수익 최적화 (SK AI SUMMIT 발표)
OpenRTB 기반 광고 플랫폼에서 수익 최적화를 위해 휴리스틱, MAB, GMM을 단계적으로 진화시켰습니다. AWS MLOps와 이상 탐지로 실시간 보정까지 연결해 광고 매출 효율을 높였습니다.
#LLM#AWS
5400
LTV를 넘어 서비스의 가치를 측정하는 새로운 지표, MTVi
토스는 서비스의 재무적 가치를 플랫폼 관점에서 측정하기 위해 MTVi 지표를 만들었습니다. LTV의 한계를 보완하고, DID와 세그먼트 분석으로 증분 가치를 정량화했습니다.
#LTV#DID
8100
“우리는 왜 지금, 프롬프트 엔지니어를 찾고 있을까요?”
미리디는 멀티모달 AI 디자인 품질을 높이기 위해 프롬프트 엔지니어의 역할을 중요하게 보고 있습니다. 프롬프트 설계뿐 아니라 실험, 평가 지표, 협업 역량까지 요구하고 있습니다.
#prompt#LLM
4400
토스에서 가장 안 좋은 경험 만들기
토스의 광고 경험 개선 사례를 통해 비즈니스와 사용자 경험의 교집합을 찾는 방법을 다뤘습니다. 예고, 배치, 보상 설계로 불쾌감을 줄이면서 성과를 만든 과정을 소개했습니다.
#UI/UX#광고
23300
여기어때 검색 광고: 랭킹 부스팅 구축기
검색 광고의 랭킹 부스트 기능을 설계하고, 노출 수 예측 대신 순위 상승 보장 방식으로 전환했습니다. 데이터 수집, Delta Score 계산, Elasticsearch 가중치 주입과 A/B 테스트 검증 과정을 정리했습니다.
#검색#Elasticsearch
5400