연간 LLM 호출 비용 25% 절감, 인턴이 도전한 시맨틱 캐싱 도입 기록
시맨틱 캐싱을 도입해 채팅 AI 메시지 추천의 LLM 호출 비용을 크게 줄인 사례를 소개했습니다. 오프라인과 온라인 검증을 통해 약 25% HIT 비율과 연간 2억 원대 절감 효과를 확인했습니다.
#LLM#cache
32400
국내 IT 기업 기술 블로그 최신 글
필터 1
AI가 지켜보는 데이터 파이프라인: 노이즈 제거부터 장애 대응까지
AI가 지켜보는 데이터 파이프라인: 노이즈 제거부터 장애 대응까지
데이터 파이프라인 운영에서 노이즈 알림과 반복 대응으로 인한 피로를 줄이기 위해 AI 활용 방안을 소개했습니다. 로그 전처리, 노이즈 분류, AI Assistant 적용 사례를 중심으로 장애 대응 자동화를 다뤘습니다.
#LLM#데이터 파이프라인
10800
Language Model의 새로운 패러다임? Large Language Diffusion Model!!
AR 언어모델의 한계를 보완하기 위해 Diffusion 기반 언어생성 접근을 소개했습니다. 학습과 추론 절차, 성능 강점과 한계까지 논문 관점에서 정리했습니다.
#LLM#NLP
8500
AI와 디지털 광고의 새로운 협력 모델 - Part 1. 광고소재
AI 발전으로 디지털 마케팅 전 과정을 통합 자동화할 가능성을 소개했습니다. 특히 광고 소재는 레이아웃 최적화와 배경 생성이 핵심이라고 설명했습니다.
#LLM#ML
4500
첫 개발자 컨퍼런스, 이렇게 만들었습니다
채널톡 첫 개발자 컨퍼런스의 기획과 운영 과정을 공유했습니다. 사전 녹화와 실시간 Q&A로 완성도와 참여도를 함께 높인 점이 인상적입니다.
#회의#문화
1900
MCP를 넘어서려는 Google A2A 시스템, 어떻게 작동할까?
MCP를 넘어서려는 Google A2A 시스템, 어떻게 작동할까?
Google A2A 프로토콜의 개념과 작동 방식을 소개하고 MCP와의 차이를 정리했습니다. 여러 AI 에이전트가 공통 표준으로 협업하는 구조를 설명했습니다.
#MCP#LLM
11500
HITL, AI 성능을 완성하는 마지막 한 조각
HITL, AI 성능을 완성하는 마지막 한 조각
HITL은 AI가 1차 판단을 하고 사람이 검토·보완하는 협업 구조를 다뤘습니다. 정확도와 신뢰성을 높이기 위해 금융, 의료, 고객 응대에 우선 적용하는 방식을 소개했습니다.
#LLM#RAG
6700
우리 팀에도 Jarvis 가 생겼다 – 생성형 AI 로 만든 에러 분석가 이야기
생성형 AI와 Slack, Datadog, Git 연동으로 에러 로그 분석 자동화를 구현했습니다.\nMCP와 프롬프트 개선을 통해 운영 대응 속도를 높이고 분석 품질도 개선했습니다.
#LLM#MCP
23200
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
LLM 그 이후: A2A의 멀티에이전트 오케스트레이션 시대
LLM 그 이후: A2A의 멀티에이전트 오케스트레이션 시대
단일 LLM의 한계를 보완하는 멀티에이전트 오케스트레이션과 A2A, MCP의 역할을 정리했습니다. 또한 뉴스 검색·요약 예제로 에이전트 협업 구조를 설명했습니다.
#LLM#MCP
10000
당근페이의 Amazon Bedrock 기반 Text-to-SQL로 완성하는 데이터 혁신, Part 2: 데이터 수집과 관리, 향후 계획
당근페이는 Bedrock 기반 Text-to-SQL에서 메타데이터와 샘플 쿼리, 용어 사전을 체계적으로 수집·관리하는 방식을 소개했습니다. 또한 검색 최적화와 SFT, MCP 확장으로 정확도와 활용 범위를 넓혀갈 계획을 공유했습니다.
#Amazon Bedrock#Text-to-SQL
6900
모두를 위한 용어집, BH-Glossary 개발기
모두를 위한 용어집, BH-Glossary 개발기
슬랙에서 사내 용어를 검색해 한글과 영어로 답변하는 BH-Glossary 봇 개발 과정을 소개했습니다. LLM과 RAG를 활용한 구현 방식과 향후 운영·확장 방향도 함께 정리했습니다.
#LLM#RAG
300
우리 회사 서비스 캐릭터들이 AI를 만나면 어떤 아이들이 될까? (feat. 멀티 LLM 플레이그라운드＆AI 프롬프톤 사례 공유)
사내 멀티 LLM 플레이그라운드를 구축해 여러 모델을 한곳에서 비교하고 체험할 수 있게 했습니다. 이를 바탕으로 프롬프톤을 열어 서비스 캐릭터 페르소나 설계와 프롬프트 엔지니어링 경험을 확산했습니다.
#LLM#ChatGPT
5000
홈피드: 네이버의 진입점에서 추천 피드를 외치다! 추천 피드 도입 고군분투기
홈피드: 네이버의 진입점에서 추천 피드를 외치다! 추천 피드 도입 고군분투기
네이버 홈피드의 개인화 추천 구조와 랭킹 고도화 과정을 소개했습니다.\nLLM, 리트리버, 랭커를 활용해 클릭과 만족도, 다양성을 함께 개선했습니다.
#LLM#추천 시스템
13900
바이브 코딩으로 만드는 나만의 AI 러닝코치 - (Gemini + Firebase + Discord )
바이브 코딩과 Gemini, Firebase, Discord로 개인용 AI 러닝 코치를 만들었습니다. 훈련 계획 추천과 완료 체크를 구현하며 여러 이슈를 수정해 완성했습니다.
#Gemini#Firebase
11000