한 번 성공하니 다음도 쉬울 줄 알았다: 최소주문금액바 4번의 A/B실험
한 번 성공하니 다음도 쉬울 줄 알았다: 최소주문금액바 4번의 A/B실험
최소주문금액바에 대한 4번의 A/B 실험을 통해 전환과 객단가의 관계를 검증했습니다. 메인 지표와 보조 지표를 함께 보며 다음 가설을 만드는 과정의 중요성을 정리했습니다.
#A/B 테스트#UI/UX
1005분
필터 1
임베딩 안정화로 검색 리랭킹의 콜드 스타트 문제를 해결하다: LINE Part Time Jobs 적용 사례
검색 리랭킹의 콜드 스타트와 임베딩 공간 불일치 문제를 안정화 기법으로 해결했습니다. 오프라인과 A/B 테스트에서 성능과 매출 개선도 확인했습니다.
#검색#LLM
33005분
AI 리뷰를 신뢰할 수 있을까요?
AI 리뷰를 신뢰할 수 있을까요?
AI 코드 리뷰의 신뢰성을 높이기 위해 자체 벤치마크와 반영률 지표를 만들고 개선 과정을 정리했습니다. 서브에이전트와 프롬프트 튜닝의 한계를 확인한 뒤 데이터 기반으로 모델과 워크플로를 바꿨습니다.
#LLM#Claude
115005분
AI로 미국을 정복하다
AI로 미국을 정복하다
미국 시장을 겨냥해 알라미 사진 미션을 재설계하고 반복 개선한 사례를 다뤘습니다. 직접 사용과 데이터 검증으로 첫 경험을 쉽게 만들며 유입과 리텐션을 함께 끌어올렸습니다.
#A/B 테스트#분석
77005분
신입 디자이너가 꼭 알아야 할 실험 설계 팁
실험 경험이 없는 인턴 디자이너가 비회원 가입 퍼널 개선 실험을 설계한 과정을 공유했습니다. 기존 러닝을 분석해 명확한 가설을 세우고, 문구와 이미지 개선으로 전환율을 높였습니다.
#UI/UX#실험 설계
62005분
여기어때 App 업데이트 QA 프로세스 가이드
여기어때 App 업데이트 QA 프로세스 가이드
여기어때 App 업데이트 QA 프로세스를 단계별로 소개했습니다. 기획 검토부터 점진적 배포와 회고까지 안정적 배포를 위한 흐름을 정리했습니다.
#QA#A/B 테스트
107005분
직관이 아닌 데이터로: NOL PM의 실험 설계 이야기
직관이 아닌 데이터로: NOL PM의 실험 설계 이야기
PM이 직관이 아닌 데이터로 가설을 검증하는 실험 설계 방법을 정리했습니다. NOL 사례를 통해 작은 UI 변화도 전환과 경험 개선으로 이어질 수 있음을 보여주었습니다.
#A/B 테스트#SQL
48005분
“함께 구매하면 좋은 상품” 추천 모델 고도화
“함께 구매하면 좋은 상품” 추천 모델 고도화
장바구니 맥락을 반영한 추천 모델로 Item2Vec의 한계를 개선했습니다. 오프라인 평가와 A/B 테스트에서 담기율, 다양성, 주문율이 함께 향상되었습니다.
#ML#추천 시스템
62005분
동적 사용자 분할을 활용한 새로운 A/B 테스트 시스템을 소개합니다
사용자 세그먼트 기반으로 A/B 테스트 그룹을 나누는 동적 분할 시스템을 소개했습니다. 타겟팅·할당·로그 수집 흐름과 실제 활용 사례도 함께 정리했습니다.
#A/B 테스트#Spark
95005분
왜 막상 배포하면 효과가 없지? 타겟 지표에 맞는 ML모델 train/eval 설계하기
실제 서비스에 맞는 ML 타겟 메트릭과 학습·평가 설계를 소개했습니다. 랜덤 수집 데이터와 relative mean CR lift로 배포 효과를 오프라인에서 가늠했습니다.
#ML#A/B 테스트
41005분
개인화 추천 시스템 1편 - 유저의 행동은 “언어”일까? : Collaborative Embedding 구축기 (feat. Knowledge Distillation)
상품 텍스트를 Semantic ID로 압축하고 유저 행동을 Transformer로 해석해 개인화 추천 모델을 구축했습니다. 지식 증류와 데이터 엔지니어링으로 정확도와 속도를 함께 개선하고 A/B 테스트 성과를 확인했습니다.
#추천 시스템#Transformer
95005분
어떤 광고가 돈이 될까? AI 기반 광고 수익 최적화 (SK AI SUMMIT 발표)
어떤 광고가 돈이 될까? AI 기반 광고 수익 최적화 (SK AI SUMMIT 발표)
OpenRTB 기반 광고 플랫폼에서 수익 최적화를 위해 휴리스틱, MAB, GMM을 단계적으로 진화시켰습니다. AWS MLOps와 이상 탐지로 실시간 보정까지 연결해 광고 매출 효율을 높였습니다.
#LLM#AWS
43005분