LLM은 꼭 한 토큰씩 답해야 할까
확산형 언어모델의 병렬 토큰 예측·반복 정제 방식과 블록 생성, 토큰 편집을 설명했습니다. 도입 시 TPS뿐 아니라 첫 응답 지연, 품질, 비용을 같은 조건에서 비교해야 합니다.

확산형 언어모델의 병렬 토큰 예측·반복 정제 방식과 블록 생성, 토큰 편집을 설명했습니다. 도입 시 TPS뿐 아니라 첫 응답 지연, 품질, 비용을 같은 조건에서 비교해야 합니다.
AI 확률은 실행 권한이 아닌 판단 신호로 다뤄야 함을 설명했습니다. AWS에서 검증·정책 게이트·사람 승인·감사 기록을 분리하는 설계를 제안합니다.
AI 벤치마크는 학습 데이터 오염으로 인해 점수 신뢰성이 흔들릴 수 있다고 설명했습니다. 이를 해결하기 위해 Secure Enclave 기반의 Double-Blind Evaluation 방식과 시범 적용 사례를 소개했습니다.
LLM은 문서 유사성뿐 아니라 데이터 간 관계를 함께 활용할 때 더 유용해졌습니다. Graph DB는 이런 관계 정보를 제공해 GraphRAG와 AI Agent의 탐색 범위를 넓혀줬습니다.
생성형 AI 기반 변형 공격이 기존 시그니처 방어를 빠르게 우회하는 한계를 짚었습니다. 정상 행위를 학습하는 이상 탐지와 WAF의 다층 방어 체계가 대안으로 제시되었습니다.
AI 에이전트가 실제 업무에서 안전하고 일관되게 일하도록 돕는 하네스 엔지니어링을 설명했습니다. 프롬프트를 넘어 규칙, 도구, 검증, 관측 체계를 설계하는 방법을 정리했습니다.
온톨로지를 LLM 환각 완화용 지식 구조로 설명하고 RAG와의 차이를 정리했습니다. Graph RAG와 AWS 서비스 조합으로 하이브리드 활용 방안도 소개했습니다.
RAG 서비스의 신뢰성을 높이기 위해 RAGAS와 LLM-as-a-Judge 기반 자동 평가 체계를 소개했습니다. 또한 시맨틱 캐싱과 가드레일을 활용한 운영 최적화 방안도 함께 제시했습니다.
피지컬 AI가 현실 세계에서 인식·판단·행동하는 차세대 패러다임으로 소개되었습니다. 휴머노이드, 자율주행, 스마트 팩토리 등 적용 분야와 함께 안전성·윤리 과제도 짚었습니다.
업무를 수행하는 AI 에이전트의 보안 아키텍처를 AWS 기준으로 정리했습니다. 네트워크 격리, 권한 통제, 사람 승인, 감사 추적을 결합해 안전성을 높이는 방법을 설명했습니다.
Agentic AI는 도구를 많이 연결하는 것보다 역할과 흐름을 잘 설계하는 것이 중요했습니다. LLM, Tool, 사람의 책임을 분리한 통제된 Workflow가 효율과 안정성을 높였습니다.
Claude AI와 Burp Suite를 MCP로 연동해 웹 취약점 점검과 모의해킹 실습을 소개했습니다. 반복 분석과 보고서 작성은 자동화하되, 최종 검토와 보안 통제는 사람이 책임져야 한다고 정리했습니다.
LLM 가드레일이 단순 필터를 넘어 추론 기반 보안 체계로 진화한 흐름을 정리했습니다. 기업 적용 시 다층 방어, 정책 엔진, 도구 호출 보안이 핵심이라고 설명했습니다.
질문 유형에 따라 적합한 LLM을 자동 선택하는 Multi-LLM Assistant 실습을 소개했습니다. Flask와 Amazon Bedrock으로 라우팅 구조와 웹 UI를 구성해 비용과 정확도 개선 가능성을 보여주었습니다.
교보DTS가 전사 AI Agent 경진대회를 열어 생성형 AI 기반의 업무 혁신과 활용 문화를 확산했습니다. 자체 솔루션 Able로 비전문가도 AI Agent를 개발하게 하고, 우수 사례를 전사에 확산할 계획입니다.
AWS AgentCore를 활용해 AI 에이전트를 프로덕션 수준의 운영 체계로 통합하는 방법을 소개했습니다. 보안, 메모리, 연동, 모니터링을 하나로 묶어 기업형 AI 운영을 지원합니다.
Amazon Bedrock AgentCore로 Strands 에이전트를 배포하고 운영하는 실습 과정을 다뤘습니다. 로컬 테스트부터 클라우드 배포, 호출, 모니터링까지의 흐름을 정리했습니다.
Amazon Bedrock과 WebSocket을 활용한 실시간 AI 채팅 구축 과정을 소개했습니다. 연결 관리, 백프레셔, 순서 보장과 운영 지표까지 함께 다뤘습니다.