AI가 97% 확신한다면, 서버를 격리해도 될까?

문제 상황

• AI의 높은 confidence와 구조화된 출력만으로 EC2 격리 같은 고영향 보안 조치를 자동 실행할 때의 오탐·장애 위험
• 타입 안정성, 실제 판단 정확성, 실행 권한의 정당성을 혼동할 가능성

원인 분석

• 입력 데이터 오염, 독립적이지 않은 증거, 과도한 실행 권한, 모델·데이터 변화, 감사 공백의 복합적 공격 표면
• confidence의 실제 정확도·보정 여부와 개별 판단의 사실성 사이의 차이

구조와 흐름

• Security Hub CSPM·EventBridge 수집 후 Lambda·DynamoDB로 입력과 자산·증거 검증
• 모델 Adapter의 출력 스키마 검증 뒤 Policy Gate·Step Functions로 승인 분기, Systems Manager Automation으로 제한된 실행
• decision_id 기반 의사결정·워크플로·AWS API 감사 기록을 CloudWatch, CloudTrail, S3로 연계

주의할 점

• 프로덕션 격리와 권한 회수 같은 고영향 조치의 사람 승인, 최소 권한, 사전 승인 Runbook 적용
• 이벤트 중복 방지를 위한 멱등성 키, task token 비밀 관리, 장기 감사 기록의 별도 보존
• 자동화 확대 전 Shadow Mode로 모델 판단과 담당자 결정을 비교하고 저위험 작업부터 단계적 적용