TASTE, 토스의 추천 파운데이션 플랫폼
TASTE는 공동학습으로 사용자 표현을 만들고, 예측 확률과 임베딩을 여러 추천·타기팅 모델에 제공합니다. 목적별 모델 분리와 TASTE Bench로 성능 및 전이 효과를 지속 검증했습니다.
#추천시스템#ML#임베딩
4300
모든 블로그
대표 인기 포스트캐시를 적용하기 까지의 험난한 길 (TPS 1만 안정적으로 서비스하기)499 조회499 조회 AI AI
AI
AI
AI AI
AI
AI
AI AI
AI
AI
AI
AI
AI
AI AI
AI
토스
도메인toss.tech
주요 카테고리 프론트엔드 · AI
활동 요약
- 최근 30일
- 7개
- 평균 조회
- 98
- 누적 조회
- 24,617
- 전체 글
- 252개
- 마지막 발행
- 2026. 11. 10.
토스 기술 블로그 글 (48)
손가락 튕기기로 LLM 비용 줄이기
SNAP은 LLM 로그를 작업별로 분류하고 소형 모델 학습 후보를 자동 발굴했습니다. 신뢰도 기반 폴백으로 품질을 유지하며 검증된 요청부터 LLM 비용을 줄였습니다.
#LLM#fine-tuning#Airflow
7200
머릿속에 있던 로그 정의 기준을 모두의 AI 스킬로 만들기
AI 스킬과 lctl 검증을 결합해 앱로그 명세 정의를 표준화했습니다. 사람의 최종 확정과 도메인 지식 축적으로 일관성을 높이고자 했습니다.
#logging#CLI#DataOps
9700
서비스 개발에 집중할 수 있는 AI 플랫폼 만들기
토스의 AI 플랫폼이 모델 사용 검토부터 Gateway 호출·도구 권한 관리까지 연결한 구조를 소개했습니다. 예산·처리 용량·보안 로그를 통합 관리해 서비스 팀의 공통 운영 부담을 줄였습니다.
#LLM#MCP#Langfuse
10000
추천 후보는 많을수록 좋을까? TopK를 최적화해 전환율을 높인 방법
추천 후보 TopK를 정수계획법으로 최적화해 후보 수를 절반으로 줄이고 전환율을 높였습니다. 후속 실험으로 다양성 저하를 보완하며 사용자별 TopK 배정 가능성을 검토합니다.
#추천 시스템#TopK#정수계획법
7001
연 300시간을 아낀 AI 상담 서비스
전세대출 문의가 많아지던 문제를 AI 상담 서비스로 풀어낸 사례를 소개했습니다. 사용자가 자주 묻는 질문을 먼저 보여줘 상담 사용률과 전화 문의를 줄였습니다.
#UI/UX#ML#상담
7300
쉼 없이 도는 테스트, 사람이 어디까지 돌봐야 할까요? - 토스닥터(Toss Doctor)
매주 반복되던 스모크 테스트를 자동화하고, 실패 원인 분석과 복구까지 맡기는 토스닥터 V2를 소개했습니다. 사람은 검증할 대상과 자동화 범위 설계에 더 집중할 수 있게 됐습니다.
#test#자동화#LLM
14600
리더보드 1등 LLM, 토스에서도 1등일까? - Toss Benchmark 구축기
공개 리더보드만으로는 토스 서비스에 맞는 LLM을 고르기 어려워 Toss Benchmark를 구축했습니다. 한국어 입력, 추론 설정, 도메인 지식과 정책 준수까지 함께 평가해 실제 업무 적합성을 확인했습니다.
#LLM#벤치마크#한국어
6000
AI가 팀 규칙을 지키도록 하는 방법
코드 작성 직후와 종료 직전에 규칙을 다시 주입하는 Stylepack으로 Coding Agent의 컨벤션 준수를 높인 사례를 다뤘습니다. 반복 리뷰 코멘트를 규칙화하고, 모양으로 잡히는 문제와 런타임 문제를 나눠 대응했습니다.
#LLM#prompt#Python
17000
How Documents Find Developers at Toss
토스 프론트엔드 팀은 문서를 찾는 대신 문서가 개발자에게 찾아오게 만드는 시스템을 구축했습니다. RAG 챗봇과 자동 문서화 봇으로 지식의 축적과 검색을 연결했습니다.
#RAG#LLM#Cursor
6500
AI가 만든 코드가 어드민이 되기까지
AI가 만든 코드를 어드민 화면으로 보여 주기 위해 브라우저 기반 Preview Runtime을 구축한 과정을 소개했습니다. 가상 파일 시스템, esbuild-wasm, import map, 패키지 사전 빌드로 격리성과 속도를 함께 해결했습니다.
#React#esbuild#TypeScript
10200
토스증권 추천과 검색은 어떻게 진화하고 있을까?
토스증권은 추천을 배치 중심에서 실시간 루프로, 검색을 키워드 기반에서 RAG와 그래프 RAG로 확장했습니다. 모델 성능뿐 아니라 데이터 갱신, 후보 선택, 운영 관측이 품질을 좌우한다고 정리했습니다.
#검색#RAG#graph RAG
8500
LLM 서빙, 띄우는 것과 잘 띄우는 것 사이
LLM 서빙에서는 단순히 모델을 띄우는 것보다, 지표를 잘 설계하고 원인을 빠르게 추적하는 운영이 중요했습니다. Prefix Cache, finish_reason, KV Cache 같은 신호를 활용해 타임아웃과 처리량 문제를 해결했습니다.
#LLM#모니터링#Kubernetes
5000
AI에게 투자정보를 말하게 하기까지
투자 정보는 적시성, 정확성, 검증 가능성이 중요해 LLM 출력만으로는 부족했습니다. 근거 선별과 절차 통제, 평가 가능한 구조를 통해 AI가 말해도 되는 상태를 운영했습니다.
#LLM#ML#React
7300
LLM은 똑똑한데, 왜 우리 회사 일은 모를까
LLM이 내부 업무를 잘 답하려면 검색보다 신뢰할 수 있는 컨텍스트 관리가 필요했습니다. 문서, 코드, 메신저를 공통 단위로 정규화하고 관계와 최신성을 함께 검증하는 Topic 설계를 소개했습니다.
#LLM#검색#API
17900
5. Technical Writer, 사라질 결심
Technical Writer의 리뷰 기준과 작성 방식을 AI에 학습시켜 문서 작성과 리뷰를 자동화했습니다. 사내 메신저와 GitHub에 붙여 사용 흐름 안에서 바로 문서 작업이 되도록 만들었습니다.
#문서화#GitHub Actions#GitHub
20500
매일 하던 업무를 디자인하기
반복되는 할 일 정리를 프로덕트 문제로 보고, 슬랙과 AI를 연결한 위젯을 만들었습니다. 수동 정리 부담을 줄여 우선순위 판단에 집중하게 된 과정을 공유했습니다.
#UX/UX#프로덕트 디자인#Slack
14800
AI로 바꾼 제품 설계의 순서
고객센터 챗봇을 메뉴 탐색형에서 자연어 기반 경험으로 바꾸며, AI로 시나리오 초안과 프로토타입 검증을 병행했습니다. 경험을 먼저 설계하고 필요한 데이터와 규칙을 역산해 정의하는 방식으로 제품 설계 순서를 바꿨습니다.
#챗봇#Product Designer#prototype
9800