AI 에이전트가 전문가의 판단에 미치는 영향

핵심 발표

• Claude Code를 활용한 무작위 대조 시험에서 AI 에이전트의 선호가 전문 분석가의 분석 판단에 미치는 영향 조사
• 인과추론 경험이 있는 전문 분석가 50명의 농업 자문 프로그램 효과 분석 과제 결과 보고

연구 방법·결과

• 결과 지표, 비교 방법, 평가 대상 농가, 가중치의 네 가지 분석 선택지마다 에이전트 선호를 동전 던지기로 무작위 배정
• 네 가지 선택에서 분석가의 선택과 에이전트 선호 일치율 86%, 항목별 일치율 81~92%
• 사전 선호를 밝힌 분석가도 에이전트가 반대하면 60%가 선택 변경, 동의 시 변경 비율 6%
• 에이전트 논거를 사용한 분석가 77%, 출처를 에이전트로 밝힌 비율 15%

개발자 영향

• 에이전트가 분석 실행뿐 아니라 모호한 증거 해석과 측정 기준 같은 전문가 판단에도 영향
• 네 가지 분석 결정의 에이전트 선호만으로 최종 권고의 82% 예측
• AI 안전성 연구에서 인간 검토자의 독립적 판단 유지 필요성 제기

한계·주의점

• 에이전트의 선호를 의도적으로 강화한 실험 설계로 실제 환경에서의 영향 크기 불확실
• 에이전트 사용자는 더 빠르게 과제를 마치고 심각한 오류도 적었지만, 비사용 집단이 작고 경험도 적어 해석에 주의
• 사전 선호 변경 분석은 38건에 기반하며, AI 영향의 인과적 해석에 불확실성 존재