
케클s피드 4월호|AI, 더 빠르고 더 효율적인 방식으로
AI를 서비스와 인프라에 어떻게 적용하고 운영할지 다룬 기술 소식 모음입니다. 공공 AI 인프라, 프레임워크 비교, 플랫폼 재설계와 Agent 구축 흐름을 소개했습니다.
#RAG#FastAPI
36005분

AI를 서비스와 인프라에 어떻게 적용하고 운영할지 다룬 기술 소식 모음입니다. 공공 AI 인프라, 프레임워크 비교, 플랫폼 재설계와 Agent 구축 흐름을 소개했습니다.

RAG 서비스의 신뢰성을 높이기 위해 RAGAS와 LLM-as-a-Judge 기반 자동 평가 체계를 소개했습니다. 또한 시맨틱 캐싱과 가드레일을 활용한 운영 최적화 방안도 함께 제시했습니다.

MLOps는 모델을 안정적으로 운영하기 위한 공정이며, 생성형 AI 시대에는 LLMOps와 AgentOps로 확장되고 있습니다. 조직은 도구보다 운영 루프와 책임 경계를 먼저 설계해야 했습니다.

LLMOps 구축 사례를 통해 LLM 애플리케이션의 데이터 준비, 프롬프트, 배포, 테스트를 하나의 흐름으로 관리하는 방법을 소개했습니다. 도메인 전문가 참여와 재사용 가능한 공통 컴포넌트로 협업 효율을 높인 내용입니다.

Python 대규모 LLMOps 프로젝트에서 Poetry로 멀티 프로젝트 구조와 의존성 관리를 구성한 사례를 소개했습니다. 또한 Dependency Injector로 코드 결합도를 낮추는 방법도 함께 다뤘습니다.