스캐터랩이 가장 재밌는 LLM을 찾는 방법
실제 유저 반응으로 LLM의 재미를 평가하기 위해 A/B 테스트, MAB, 리더보드를 활용했습니다. 세 방식의 편향과 리스크를 보완하며 모델 탐색부터 최종 배포 검증까지 설계했습니다.
#LLM#A/B 테스트
200
새로운 기술 블로그가 추가되었어요
실제 유저 반응으로 LLM의 재미를 평가하기 위해 A/B 테스트, MAB, 리더보드를 활용했습니다. 세 방식의 편향과 리스크를 보완하며 모델 탐색부터 최종 배포 검증까지 설계했습니다.
MAB 기반 가격결정의 한계를 보완하기 위해 그룹화, 목적함수, adaptive window, regret 평가를 단계적으로 도입했습니다. 상품별 판매 결과를 바탕으로 더 민첩하게 모델을 선택하는 방향으로 개선했습니다.