

노타의 MoE LLM 양자화 연구 2편, ICML 2026 워크숍에 나란히 이름을 올리다
MoE LLM 양자화에서 전문가 선택 경로를 보존하는 두 PTQ 기법을 소개했습니다. 라우팅 마진과 출력 민감 토큰을 활용해 저비트 성능을 개선했습니다.


MoE LLM 양자화에서 전문가 선택 경로를 보존하는 두 PTQ 기법을 소개했습니다. 라우팅 마진과 출력 민감 토큰을 활용해 저비트 성능을 개선했습니다.

Kubernetes 환경에 LLM 서빙 최적화 기술을 도입하며 발생한 충돌과 해결 과정을 공유했습니다. Istio, 스케줄러, Pod 보호 정책과의 실전 문제를 진단한 사례입니다.


농약 제품 사진을 인식해 정보를 찾는 3단계 AI 검색 시스템을 구축했습니다. Vision LLM 오인식을 오타 보정, OpenSearch Fallback, LLM Reranker로 보완했습니다.

AI 태스크 QA를 자동화하기 위해 시나리오 생성, AI 사용자 대화, 평가, 개선 루프를 구성했습니다.외부 API 의존을 줄이고 이벤트 기반 처리와 캐싱을 적용해 반복 검증 비용과 수작업을 줄였습니다.

비결정적 AI 태스크를 자동으로 QA하는 에이전트 개발 과정을 소개했습니다. DFS 기반 시나리오 생성, AI 사용자 대화, 평가와 개선 루프까지 구현했습니다.

Amazon OpenSearch가 에이전틱 검색과 벡터 스토리지 혁신으로 진화하는 내용을 다뤘습니다. 운영 최적화와 AI 에이전트 연동을 함께 지원하는 플랫폼 방향을 소개했습니다.
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.


프롬프트 인젝션에 대비해 에이전트 보안을 LLM 밖의 인프라에서 강제하는 다층 방어 패턴을 설명했습니다. AgentCore, JWT 전파, RLS, Index Mapper로 사용자 간 데이터 경계를 지키는 방법을 정리했습니다.

AI 에이전트의 자율성 확대에 따른 보안과 책임 문제를 다뤘습니다. 하네스 엔지니어링과 Datadog Agent Builder로 가드레일을 두는 방법을 소개했습니다.

생성형 AI의 한계를 넘기 위해 개발 전 과정을 AI와 함께 수행하는 AI-DLC 방법론을 소개했습니다. 기획부터 운영까지 컨텍스트와 이력을 보존하는 워크플로우를 통해 엔터프라이즈 개발 생산성을 높이는 접근을 다뤘습니다.

규제 환경에서 AI 에이전트를 안전하게 운영하기 위한 거버넌스와 통제 아키텍처를 정리했습니다. 모델 출력과 에이전트 행동을 분리해 제어하고, 운영 중에도 지속 검증하는 방법을 소개했습니다.


온톨로지와 분산형 에이전트 구조로 소형 언어모델 기반 AI 챗봇을 고도화했습니다. 멀티턴 대화와 주제 전환을 처리하면서 정확도, 비용, 지연 시간을 함께 개선했습니다.

AI 에이전트가 소프트웨어를 도구에서 동료로 바꾸는 흐름을 정리했습니다. 코딩에서 검증된 역할 변경이 지식 근로자 업무와 AWS 기반 AX 전환으로 확장된다고 설명했습니다.


패션 이커머스의 부정 반품 요청을 차단하기 위해 Amazon Nova 2 Lite를 Fine-tuning해 도메인 특화 가드레일을 구축했습니다. 837개 샘플 학습으로 Unsafe 탐지 정확도를 94.6%까지 높였고, 소형 모델의 비용 효율성도 확인했습니다.

레거시 프로젝트를 AI 드리븐 프로젝트로 전환하기 위한 AX 4단계 로드맵을 소개했습니다. 보안 기반부터 리뷰 자동화까지 단계적으로 확장하는 방법과 KPI를 함께 정리했습니다.