로봇 공학, 70년 정체의 이유와 해법

30년 전 영상과 오늘날의 영상을 구분하기 어려울 정도로 진전이 더딘 로봇 공학은 1960년대 MIT 카피 데모 수준의 원격 조작 시스템에 여전히 머물러 있다.

그는 30년 전 로봇 영상과 오늘날의 영상을 구분하기 어려울 정도로 진전이 더디다고 설명하며, 대중이 로봇 공학을 완성 단계로 인식하는 것과는 차이가 크다고 언급했다.

실제로 1960년대 MIT 카피 데모와 같은 원격 조작 시스템이 여전히 로봇 현장에서 널리 사용되고 있는 상황이다.

파탁 교수는 로봇 공학이 정체된 근본적인 이유를 '일반 지능을 갖춘 두뇌'가 없었기 때문이라고 진단했다. 로봇 공학은 항상 하드웨어 문제로만 접근되어 왔기 때문이다.

이는 '모라벡의 역설'과도 연결된다. 컴퓨터에게 쉬운 수학적 추론은 인간에게 어렵고, 인간에게 쉬운 물리적 움직임은 컴퓨터에게 어렵다는 역설이다.

따라서 로봇은 체스 말 놓기와 같은 기초적인 물리적 작업조차 일반적인 해결책을 갖추지 못했으며, 이는 일반 지능의 부재가 로봇 발전의 핵심 한계임을 보여준다.

GPT-3 규모의 AI 학습에는 수조 개의 토큰이 필요하지만, 인터넷에 존재하지 않는 로봇 데이터를 수동으로 수집하려면 미국 인구 전체를 동원해도 100년이 걸린다. GPT-3 규모의 AI 학습에는 수조 개의 토큰이 필요하지만, 로봇 데이터는 인터넷에 존재하지 않는다.

수동 원격 조작으로 데이터를 수집할 경우, 데이터 하나당 약 1분이 소요되는 막대한 시간이 필요하다.

파탁 교수는 미국 인구 전체를 동원해도 GPT-3 수준의 데이터 규모를 확보하려면 100년 이상의 시간이 걸린다고 강조하며, 로봇 AI 데이터 수집의 비효율성을 지적했다.

파탁 교수는 형태와 상관없이 모든 로봇을 하나의 두뇌로 제어하는 '단일 범용 두뇌' 가설을 제시하며 로봇 공학의 새로운 비전을 그렸다.

학습 과정을 사전·사후 단계로 분리하는 전략은 고질적인 데이터 부족 문제를 해결할 핵심 방안으로 제시됐다.

3년 전 언어 모델이 달성한 규모의 성장을 로봇 분야에 적용하여 혁신을 이루겠다는 목표를 가지고 있다.

로봇 데이터 확장을 위한 기존 시도들은 각각의 한계를 가지고 있었다. 로봇 스스로 데이터를 수집하는 호기심 기반 탐색은 물리적 제약이 따른다.

원격 조작 방식은 높은 비용과 데이터의 다양성 부족이라는 문제에 직면한다.

시뮬레이션 학습은 확장성이 높지만, 현실 환경을 정확히 재현하는 환경 설계에 어려움이 존재한다.

성공적인 로봇 학습을 위해 데이터가 갖춰야 할 세 가지 핵심 요소가 언급됐다. 첫째, 데이터 확장성으로 다양한 시나리오에 빠르게 적용 가능해야 한다.

둘째, 데이터 다양성으로 중복되지 않는 환경과 데이터를 확보하는 것이 중요하다.

마지막으로 로봇 근접성으로 실제 로봇의 관절 각도와 데이터가 얼마나 일치하는지가 성공적인 학습에 결정적인 영향을 미친다.

사전 학습 단계에서 시뮬레이션과 영상 데이터로 다양성을 확보하고 사후 학습에서는 고품질 원격 조작 데이터로 정교함을 높여 학습 효율을 극대화한다.

사전 학습 단계에서는 시뮬레이션 및 영상 데이터를 활용해 다양성과 확장성을 확보한다.

사후 학습 단계에서는 고품질의 원격 조작 데이터를 활용해 로봇의 정교함을 향상하고, 이 사후 학습 데이터를 다시 사전 학습에 재투입하는 '데이터 플라이휠' 방식으로 확장을 꾀한다.

이 범용 두뇌는 다양한 로봇 형태에서 작업을 빠르게 수행할 수 있도록 돕는다.

빨래 개기는 실리콘밸리에서 로봇 공학의 인기 과제로 꼽힌다.

과거 로봇 공학에서는 물리 모델을 전부 수동으로 계산해야 했기에 난도가 매우 높았다.

하지만 딥러닝 기반 로봇 공학은 오차 허용 범위가 넓어 빨래 개기 같은 작업도 기존보다 훨씬 효율적으로 수행할 수 있게 됐다.

평행 조 그리퍼는 방향 조절이 어려워 에어팟 삽입과 같은 정교한 작업에 한계가 있었다.

하지만 시연에 사용된 기기는 자석 없는 저가형 가짜 에어팟으로도 이를 성공적으로 수행해 기술적 진보를 보여주었다.

일단 일반 두뇌가 구축되면 인간의 1인칭 영상을 통해 파인 튜닝 데이터 없이도 이러한 복잡한 작업을 학습할 수 있다.

로봇 발전이 더딘 이유가 손의 기술적 한계 때문이라는 시각은 사실이 아니다. 결국 기술적 완성도의 핵심은 로봇 하드웨어가 아닌 배후의 지능에 있다는 평가가 나온다.

실제로 현재 공장 배치용 로봇 손은 내구성이 약해 100시간 이내에 고장 나는 경우가 많다.

로봇은 머릿속으로 시나리오를 상상하여 적은 데이터로도 학습을 증폭시키는 능력을 갖추고 있다.

파탁 교수는 4,000달러 규모의 저렴한 하드웨어와 카메라 센서만을 사용하여 오믈렛 조리 시연을 선보였다.

이 시스템은 힘 센서 없이도 비전 정보만으로 힘을 필요로 하는 작업을 구현했다. 이는 카메라에서 직접 읽어 들인 정보를 모터에 직접 동력을 전달하는 진정한 엔드 투 엔드 방식이다.

상태 머신 없이 작동하며 새로운 물체 배치 등 방해 요소에도 강한 견고함을 보여주었다.

백플립과 같은 정형화된 로봇 동작은 관찰 가능하여 시뮬레이션이 용이한 반면, 계단 오르기와 같은 작업은 높이와 폭 등 환경 정보를 실시간으로 인지해야 하는 난제가 따른다.

별도의 3D 지도 작성 없이도 로봇은 몸통 카메라만으로 계단 환경에 대응할 수 있다.

이는 비상 대피용 계단과 같은 까다로운 환경에서도 로봇이 안정적으로 작동할 수 있음을 확인시켜 주었다.

파쿠르보다 현실의 정밀 작업 학습이 훨씬 어렵고 인상적인 성과를 만들어낸다. 데이터 플라이휠을 구축하는 데 있어 가장 어려운 부분은 로봇의 실제 배포 자체다.

데이터 플라이휠을 위해서는 지능과 하드웨어를 결합한 실제 배포가 필수적이다.

ChatGPT 배포와 달리 물리 로봇을 배포할 때는 지능과 하드웨어 외에도 수많은 제약 사항을 해결해야 하는 문제가 발생한다.

미국 내 생산 자동화 및 효율성 제고를 위해 스킬드 AI는 엔비디아와 협력 중이다.

이제 로봇은 펜스 안에 갇혀 있을 필요 없이 공장 라인 변경 없이 사람과 함께 어수선한 현장에서 작업할 수 있다.

이는 현관문을 찾아 택배를 배송하는 등 상식적 판단이 필요한 영역에 로봇을 실질적으로 적용하는 사례를 보여준다.

로봇 부품이 고장 나거나 다리가 부러지더라도, 몇 밀리 초 내에 새로운 보행 방식을 학습하여 즉시 회복한다.

로봇을 절반으로 절단해도 각각의 반쪽이 독립적으로 작동하는 것이 확인됐으며, 제로 샷 전이를 통해 학습하지 않은 형태의 로봇도 즉시 제어할 수 있다.