[클로바 시선 #50] HyperCLOVA X 8B Omni Serving DeepDive : 구조 설계부터 성능 최적화까지
[클로바 시선 #50] HyperCLOVA X 8B Omni Serving DeepDive : 구조 설계부터 성능 최적화까지
텍스트뿐 아니라 이미지와 음성까지 처리하는 옴니모달 서빙 구조를 다뤘습니다. 실제 서비스 환경에서 안정성과 성능을 높이기 위한 설계와 최적화 과정을 정리했습니다.
#LLM#server
0005분
필터 1
에이전틱 AI와 Amazon Bedrock AgentCore를 활용한 전문가 팀 시뮬레이션
AWS의 7개 전문 도메인을 본뜬 멀티 에이전트 AI 시뮬레이션을 소개했습니다. AgentCore와 Strands Agents로 초기 리서치와 초안 작성을 가속화하는 구조를 설명했습니다.
#LLM#Amazon Bedrock
35005분
LiteRT 등 4월 넷째 주 Google for Developers 위클리 업데이트를 지금 확인하세요!
LiteRT 등 4월 넷째 주 Google for Developers 위클리 업데이트를 지금 확인하세요!
X
#LLM#Android
0005분
기억에 대해서
기억에 대해서
AI 세션이 많아지면서 무엇을 저장할지가 아니라 어떻게 다시 꺼낼지가 중요한 병목으로 다뤄졌습니다. 회상용 레퍼런스를 여섯 축으로 남기면 검색보다 재인식이 쉬워진다는 관점을 제시했습니다.
#LLM#RAG
16005분
The Human: 점수 너머의 판단
The Human: 점수 너머의 판단
AI 채용 평가에서 점수만으로는 후보자의 사고를 충분히 판단할 수 없다는 점을 짚었습니다. 면접과 설계 문서, 사람의 판단이 여전히 중요한 이유를 정리했습니다.
#채용#면접
109005분
상담 데이터 분석을 통해 메뉴얼 추출하기
상담 데이터 분석을 통해 메뉴얼 추출하기
상담 데이터를 분석해 SOP 초안을 자동으로 만들고 ALF 세팅 파일로 분리하는 파이프라인을 소개했습니다. 초기 정의 부담을 줄이고 도입 가치를 시간 절감 기준으로 설명하는 방식도 제안했습니다.
#LLM#RAG
0005분
상담 데이터 분석을 통해 메뉴얼 추출하기
상담 데이터를 분석해 유형 분류와 SOP 초안을 자동 생성하는 파이프라인을 소개했습니다. 세팅 초기 정의 부담을 줄이고 ALF 도입을 빠르게 시작하는 방법을 다뤘습니다.
#LLM#클러스터링
16005분
토스플레이스 데이터봇 ‘판다(PANDA)’를 소개합니다 : 모든 팀원이 데이터 전문가처럼 일하는 방법
토스플레이스가 데이터봇 판다를 통해 팀원들이 직접 데이터를 조회하고 활용하는 환경을 만들었습니다.\nSSOT 정비, 비즈니스 용어 연결, Agentic Loop 설계로 정확도와 일관성을 높였습니다.
#LLM#SQL
94005분
모두가 데이터를 다루는 AI 시대, 지난 1년간 데이터 팀은 어떻게 달라졌을까?
모두가 데이터를 다루는 AI 시대, 지난 1년간 데이터 팀은 어떻게 달라졌을까?
데이터가치화팀이 지난 1년간 AI를 업무와 플랫폼에 통합한 변화를 정리했습니다. 반복 작업은 빨라졌지만, 검증과 데이터 기반의 중요성은 더 커졌습니다.
#MCP#BigQuery
61005분
하네스 엔지니어링으로 본 Deep Insight – 로컬 개발에서 프로덕션 운영까지의 설계 여정
Deep Insight의 프로덕션 전환을 하네스 엔지니어링 관점에서 정리했습니다. 에이전트 추론, 코드 실행, 저장소, 네트워크를 분리해 안정성과 보안을 높였습니다.
#AWS#LLM
78005분
AI Native 레포에서 조직으로: hollon-ai 구축기
AI Native 레포를 조직 전체가 쓰는 실행 harness로 확장한 hollon-ai 구축기를 소개했습니다. 팀챗, Kubernetes, 상태머신, 메모리 계층으로 요청부터 복구까지 같은 흐름에 묶었습니다.
#LLM#Kubernetes
17005분
2부: 정책을 따르는 평가자, LLM-as-a-Judge
LLM-as-a-Judge를 설계해 설명 생성 품질을 자동 평가하는 방법을 소개했습니다. 체크리스트와 critique 구조화로 인간 평가와의 정합성을 높이고, 디버깅과 데이터 정제에도 활용했습니다.
#LLM#prompt
50005분