로봇이 유튜브를 보고 행동을 배운다, 제약 없는 영상에서 액션 플랜 추출
로봇에게 요리를 가르치려면 어떻게 할까? 로봇 앞에서 요리하는 시연을 수백 번 녹화하는 게 지금까지의 방법이다. 시간도 많이 들고, 각 동작마다 정밀한 라벨링도 필요하다. 그런데 이미 인터넷에는 수억 개의 요리 영상이 있다. 이 영상들에서 로봇이 행동을 배울 수 있다면?
AAAI 학술대회에 발표된 연구는 제약 없는 웹 영상에서 로봇 조작 액션 플랜을 자동으로 추출하는 방법론을 제시한다. 기존의 로봇 학습은 제어된 환경에서 수집된 데이터에 의존했지만, 이 연구는 인터넷상의 자연스러운 영상을 직접 활용한다.
연구팀은 영상에서 인간의 동작을 자동으로 해석하고 표현하는 계산 도구를 개발했다. 이 도구는 영상 속 동작을 시계열 액션 플랜으로 변환하고, 이를 로봇이 실행 가능한 명령 시퀀스로 매핑한다. 핵심은 학습된 스키마를 넘어서는 새로운 동작도 해석할 수 있다는 것이다.
핵심 결과를 보면, 제약 없는 웹 영상에서 추출한 액션 플랜이 로봇 시뮬레이션에서 의미 있는 조작 동작으로 변환되었다. 사람이 요리하는 영상을 보고 로봇이 재료 준비, 조리, 서빙의 단계를 인식하고 순서대로 실행하는 식이다. 기존의 학습된 스키마에 없는 새로운 동작—예를 들어 훈련 데이터에 없던 조리 기법—도 영상에서 직접 해석할 수 있었다.
이 연구가 중요한 이유는 로봇 학습 데이터의 확장 가능성을 열었다는 것이다. 인터넷의 방대한 영상 자료가 모두 잠재적 학습 데이터가 된다. 로봇 전용 데이터 수집이라는 병목을 우회할 수 있다. 또한 사람이 자연스럽게 수행하는 동작에서 로봇이 행동을 학습한다는 점에서 인간-로봇 스킬 전이의 새로운 패러다임을 보여준다.
한계도 분명하다. 영상과 로봇 동작 사이에는 물리적 갭이 존재한다. 사람의 손동작을 로봇 그리퍼 동작으로 변환하는 과정에서 정보 손실이 불가피하다. 또한 영상 품질이 제각각이라 노이즈 처리가 과제다. 현재는 시뮬레이션 수준의 검증에 그치며, 실제 로봇에서의 성능 검증이 필요하다.
영상 기반 로봇 학습을 연구 중이라면 대규모 웹 영상 데이터셋에서 동작 인식 모델을 먼저 학습시키는 접근을 고려하라. 영상의 시각적 다양성을 도메인 랜덤화처럼 활용하면 모델의 일반화 성능을 높일 수 있다. 사람 동작과 로봇 동작 간의 매핑 레이어를 별도로 학습하는 것도 효과적이다.
📖 *Robot Learning Manipulation Action Plans by "Watching" Unconstrained Videos from the World Wide Web* | 논문 원문
※ 이 기사는 학술 논문을 바탕으로 작성되었습니다. 실제 적용 시 환경에 따라 다를 수 있으니 전문가와 상담하세요.