합성 데이터 없이 로봇 월드 모델을 학습하는 방법
합성 데이터와 원시 픽셀 중심의 로봇 학습 한계를 짚고, 단안 영상에서 장면 시맨틱을 추출하는 F.R.A.N.T.Z. 접근을 소개했습니다. 또한 추출 결과를 어포던스와 정책 학습으로 연결하고, JEPA 스타일 월드 모델로 확장하는 방향을 제시했습니다.
#AWS#computer vision
1000
합성 데이터와 원시 픽셀 중심의 로봇 학습 한계를 짚고, 단안 영상에서 장면 시맨틱을 추출하는 F.R.A.N.T.Z. 접근을 소개했습니다. 또한 추출 결과를 어포던스와 정책 학습으로 연결하고, JEPA 스타일 월드 모델로 확장하는 방향을 제시했습니다.
Dynamics Model을 제어와 시뮬레이션 문제에 활용하는 사례를 소개했습니다. 실제 데이터와 물리 모델을 결합해 sim-to-real gap을 줄이는 가능성을 설명했습니다.