AI
Computer Use Agent(CUA)를 직접 돌려보자! (Feat. AgentQ)
두줄요약
Computer Use Agent의 개념과 활용 배경을 소개하고, AgentQ 논문과 구현을 직접 실행해보는 과정을 정리했습니다. MCTS와 DPO를 결합한 정책 학습 구조와 실습 절차도 함께 설명했습니다.
핵심 내용
- Computer Use Agent(CUA)의 개념과 활용 배경 소개
- 기존 API 호출만으로 해결하기 어려운 작업을 화면 조작으로 자동화하는 방식 설명
- AgentQ 논문을 바탕으로 MCTS, Self-Critique, DPO를 결합한 학습·추론 구조 정리
- AgentQ 저장소 실행을 위한 설치, 크롬 디버깅, 모델 설정 절차 안내
구조와 흐름
- 입력 정보로 스크린샷, DOM, 사용자 지시문 활용
- 탐색 단계에서 후보 행동 생성, 자기 비평, UCB1 기반 경로 선택
- 학습 단계에서 트라젝터리로부터 preference pair 구성 후 DPO로 정책 미세조정
적용해볼 점
- API 기반 자동화 한계가 있는 작업에 CUA 검토
- 웹 UI 자동화 실험 시 Playwright와 브라우저 디버깅 환경 활용
- AgentQ 같은 공개 구현으로 CUA 동작과 학습 흐름 직접 확인