
스캐터랩이 가장 재밌는 LLM을 찾는 방법
실제 유저 반응으로 LLM의 재미를 평가하기 위해 A/B 테스트, MAB, 리더보드를 활용했습니다. 세 방식의 편향과 리스크를 보완하며 모델 탐색부터 최종 배포 검증까지 설계했습니다.
#LLM#A/B 테스트
200
새로운 기술 블로그가 추가되었어요

실제 유저 반응으로 LLM의 재미를 평가하기 위해 A/B 테스트, MAB, 리더보드를 활용했습니다. 세 방식의 편향과 리스크를 보완하며 모델 탐색부터 최종 배포 검증까지 설계했습니다.


MAB 기반 가격결정의 한계를 보완하기 위해 그룹화, 목적함수, adaptive window, regret 평가를 단계적으로 도입했습니다. 상품별 판매 결과를 바탕으로 더 민첩하게 모델을 선택하는 방향으로 개선했습니다.

ksqlDB Join으로 뉴스탭 로그와 유저 클러스터 정보를 실시간 결합해 추천용 데이터를 만들었습니다. 외부 DB 조회를 줄이고 파티션과 조인 키를 맞춰 정확한 실시간 처리를 보장했습니다.