AI
합성 데이터 없이 로봇 월드 모델을 학습하는 방법
두줄요약
합성 데이터와 원시 픽셀 중심의 로봇 학습 한계를 짚고, 단안 영상에서 장면 시맨틱을 추출하는 F.R.A.N.T.Z. 접근을 소개했습니다. 또한 추출 결과를 어포던스와 정책 학습으로 연결하고, JEPA 스타일 월드 모델로 확장하는 방향을 제시했습니다.
핵심 내용
- 합성 데이터와 원시 픽셀 중심의 VLA 학습이 비용, 불투명성, sim-to-real 격차 측면에서 한계에 도달했다는 문제 제기
- F.R.A.N.T.Z. 방식으로 사전학습된 모듈과 고전 컴퓨터 비전을 결합해 단안 영상에서 객체, 평면, 손 궤적, 3D 포인트 클라우드 같은 장면 시맨틱을 추출하는 접근 소개
- 추출된 어포던스와 장면 사전지식을 바탕으로 합성 환경과 로봇 정책으로 확장하는 흐름과, JEPA 스타일의 장면 시맨틱 예측 월드 모델 방향 제시
- 대규모 영상 처리와 공간 데이터 거버넌스를 위해 AWS Graviton, COOL, SDMA 같은 인프라 구성요소의 역할 정리