로봇 없이 로봇 가르친다, UMI가 가능하게 한 것
로봇에게 무언가를 가르치려면 로봇이 필요하다—이게 상식이었다. 시뮬레이션에서 훈련하려면 정확한 물리 엔진이 필요하고, 실제 로봇으로 데이터를 모으려면 로봇 자체가 필요하다. 그런데 로봇 없이 사람이 자연스럽게 하는 동작만으로 로봇을 가르칠 수 있다면?
Robotics: Science and Systems에 발표된 연구는 Universal Manipulation Interface(UMI)라는 프레임워크를 소개한다. UMI는 사람이 현실 환경에서 자연스럽게 하는 조작 시연을 로봇이 실행 가능한 정책으로 직접 변환한다. 로봇이 필요 없는 데이터 수집, 그리고 그 데이터로 로봇을 학습시키는 전 과정을 엔드투엔드로 지원한다.
연구팀은 핸드헬드 클립과 고정 카메라만으로 조작 데이터를 수집하는 도구를 개발했다. 사람이 도구를 들고 자연스럽게 작업하면, 카메라가 동작을 기록하고 핸드헬드 클립이 그립 정보를 캡처한다. 이 데이터는 시뮬레이션 환경에서 동작 라벨링과 함께 정책 학습에 사용된다.
핵심 결과를 보면, UMI는 다양한 조작 과제—접기, 정밀 조립, 이중 팔 조작 등—에서 높은 성공률을 달성했다. 특히 시뮬레이션에서 훈련된 정책이 실제 로봇으로 원샷 전이되는 점이 인상적이다. 기존 방법은 로봇 하드웨어에 맞춰 데이터를 다시 수집해야 했지만, UMI는 하드웨어 독립적인 데이터 수집이 가능하다. 또한 수십 건의 시연 데이터만으로 새로운 조작 스킬을 학습할 수 있어 데이터 효율성도 높았다.
이 연구가 중요한 이유는 로봇 학습의 민주화다. 값비싼 로봇 없이도 조작 데이터를 수집할 수 있으면, 소규모 연구실이나 개발자도 로봇 정책을 만들 수 있다. 또한 동일한 사람 시연 데이터를 다양한 로봇 플랫폼에 전이할 수 있어, 로봇 하드웨어 벤더 종속성에서 벗어날 수 있다.
한계도 있다. 사람의 시연과 로봇의 물리적 능력 간 갭이 여전히 존재한다. 사람은 할 수 있지만 로봇은 할 수 없는 동작이 있고, 반대도 마찬가지다. 또한 복잡한 동적 조작—빠른 반사 동작이 필요한 작업 등—은 아직 한계가 있다.
로봇 조작 연구를 하고 있다면 UMI의 오픈소스 도구를 활용해 보라. 핸드헬드 클립과 스마트폰 카메라만으로 데이터를 수집하고, 시뮬레이션에서 정책을 학습한 뒤 실제 로봇에 배포하는 파이프라인이 이미 공개되어 있다. 새로운 조작 과제에 대한 데모 데이터를 수십 건만 모아도 기본적인 정책을 만들 수 있다.
📖 *Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots* | 논문 원문
※ 이 기사는 학술 논문을 바탕으로 작성되었습니다. 실제 적용 시 환경에 따라 다를 수 있으니 전문가와 상담하세요.