미래 예측하는 로봇, 실제 일터로 간다

다이나 로보틱스의 진정한 도전은 로봇 한 대를 한 곳에 배치하는 것이 아니라 고객들이 가치를 확신해 여러 지점에 확대하도록 설득하는 것이다.

딘타이펑의 여러 식당 지점에서 로봇이 매일 수천 개의 냅킨을 접고 있다. 다목적 로봇 분야에서 이 정도 규모의 다중 지점 확대 배포는 드물다.

Genji 로봇으로 이 성과를 달성했으며, 이는 로봇이 단순 기술 시연에서 벗어나 실제 운영 장비로 인정받았음을 보여준다.

다이나-2는 100만 시간 이상의 인간 동영상 데이터로 훈련한 첫 번째 세계 행동 모델이다.

이 모델은 미래 비디오 프레임과 물리적 세계의 미래 상태를 예측하는 방식으로 작동한다. 인간이 물리 세계에서 행동할 때 무의식적으로 미래를 생각하는 방식과 구조가 유사하다.

로봇 행동을 생성하기 위해 세계의 다음 상태 예측을 직접 사용한다. 이는 기존 행동 예측 모델과 달리 세계 전체의 변화를 기반으로 의사결정한다는 뜻이다.

모델의 핵심은 트랜스포머(시간 흐름에 따른 데이터 학습)와 확산(세부 정확도)을 결합한 구조다.

확산 모델은 랜덤 노이즈에서 시작해 반복 계산을 통해 고차원 데이터로 변환된다. 이미지 생성이 날카로운 모서리와 부드러운 표면을 동시에 필요로 하듯, 로봇 동작도 정밀한 손가락 움직임과 전체 팔 궤적이 모두 정확해야 한다.

Flow Matching은 확산 모델의 특수한 버전으로, 기존 40~100 단계가 필요한 스케줄링을 4 단계로 줄였다. 이로써 실시간 환경 변화에 따른 로봇 동작 재평가가 가능해졌다.

이러한 구조 선택이 로봇의 정밀도와 실시간 반응성을 동시에 확보하는 핵심 요소가 됐다.

로봇 분야에는 인터넷이 없다. 언어 모델처럼 무한한 텍스트를 수집할 수 없으므로, 각 회사가 직접 데이터 수집 전략을 세워야 한다.

인간 데이터는 풍부하고 광범위하지만 인간과 로봇 간에는 행동 방식의 본질적 차이가 있다. 따라서 인간 데이터로 기초를 다진 뒤 소량의 로봇 고유 데이터로 미세조정하는 이중 전략이 필수다.

효과적인 접근법은 대규모 인간 동영상으로 강력한 사전학습 기반을 만든 후, 작은 규모의 로봇 데이터로 특정 작업에 맞춘다. Reddit이나 Facebook 같은 단일 출처만으로는 불충분하므로 구매, 라이선싱, 자체 수집 등 여러 경로로 데이터를 확보해야 한다.

이렇게 구성된 데이터 레시피가 로봇이 새 작업을 빠르게 습득하게 한다.

현재 연구자들은 자기감시 데이터와 실제 로봇 데이터(확장 가능한 형태)에 집중하고 있다. 합성 데이터와 시뮬레이션은 학습을 위한 새로운 규모의 차원으로 작용할 것으로 예상된다.

선도적 기초 모델의 시각 이해 능력이 획기적으로 향상되면서, 현실을 시뮬레이션으로 변환하고 3D 환경을 재구성하는 것이 이제 실질적 단계에 들어섰다.

Eureka 연구팀은 GPT-4를 사용해 강화학습 환경과 보상함수를 자동으로 생성하고 학습을 수행했다. 과거에는 모델의 3D 이해 능력 부족으로 이런 방식이 제한적이었으나, 지금은 전환점을 맞이했다.

Dyna-2 같은 세계-행동 모델 자체가 영상을 생성하고 그로부터 학습할 수 있으므로, 자기강화의 선순환이 가능해진다.

라이더와 카메라 같은 성숙 기술은 자동차 산업 등에서 이미 검증되었으므로 외부에서 구매한다. 반면 액추에이터(모터와 제어 메커니즘)는 로봇 성능에 직결되므로 자체 개발한다.

인간 데이터로 사전학습된 모델을 사용하기 때문에, 로봇의 신체 비율과 크기를 실제 인간과 유사하게 설계한다. 이렇게 해야 전이학습(transfer learning)이 효과적이다.

하드웨어 선택이 지능 구현과 밀접하게 얽혀 있다. 어떤 센서와 액추에이터를 선택하느냐에 따라 모델이 얼마나 정확하게 작동하는지가 결정된다.

엔비디아에서 모델 개발에만 집중했을 때, 물리적 성능을 높이려다 하드웨어 한계에 자주 부딪혔다.

로봇의 가치는 실제 물리적 작업을 해결하는 데 있으므로, 모델뿐 아니라 하드웨어 전체를 함께 최적화해야 한다. 이는 단순 소프트웨어 회사와 로봇 회사의 근본적인 차이점이다.

세탁물을 펼쳐 접는 작업은 약 45분의 시연 데이터만으로 학습이 가능했다. 냉장고 문 열기 같은 과제도 학습 범위에 포함된다.

일부 작업은 수십 분 정도면 충분하고, 더 복잡한 작업은 수 시간이 걸린다. 범위는 대체로 45분에서 몇 시간 사이다.

새로 만든 로봇이 학습용 시연 영상을 보지 못했음에도 빠르게 배울 수 있는 이유는, 인간 동영상으로 사전학습된 모델이 물리 법칙과 일반적 패턴을 이미 알고 있기 때문이다.

이는 소수 데이터(few-shot learning)가 로봇 분야에서 실제로 구현되고 있음을 보여준다.

냅킨, 수건 같은 변형 가능한 물질은 무한에 가까운 형태 조합이 가능하다. 특수 로봇이 밀리미터 단위의 정확도로 냅킨을 접을 수 있더라도, 이렇게 많은 변형에 각각 대응하는 것은 불가능하다.

일반형 로봇과 일반화된 모델을 특정 사용 사례에 맞춰 적응시키면, 생산 품질에 도달하는 속도가 오히려 빨라진다.

이는 직관과 반대되는 결과로, 특정 작업에만 최적화된 로봇보다 적응 능력이 높은 일반형 로봇이 실무 환경에 더 빨리 맞춰진다는 뜻이다.

장시간에 걸친 실제 작업은 낮은 수준의 연속 경로 계획만으로 불충분하다. 고수준의 의사결정이 필수적이다.

세탁 로봇의 경우, 세탁기가 작동 중일 때는 다른 일을 하다가 완료되면 즉시 수건을 건조기로 옮겨야 한다. 이런 워크플로우 계획(예: 요리 레시피의 단계들)과 고수준 인지 작업이 필요하다.

세계 모델 위에 에이전트 래퍼라는 계층적 시스템을 얹으면, 더 긴 시간 범위에서 능력과 기술을 조합할 수 있다. 이는 언어 모델의 에이전트 시스템(자동 완성에서 전체 문서 자동 생성으로 진화)과 같은 원리다.

로봇 문제는 단순 모델링 과제가 아닌 통합 시스템 문제다. 뛰어난 에이전트, 소프트웨어 엔지니어링, 모델, 하드웨어가 모두 필요하다.

현재 다이나 로보틱스는 세탁소와 음식점을 중심으로 수십 대의 로봇을 배포했다.

내년 목표는 여러 산업 분야에 걸쳐 수백 대 규모로 일반화된 로봇을 배포하는 것이다. 이는 프로토타입 단계를 벗어나 상용화 단계로의 진입을 의미한다.

물리 시스템은 현재와 과거 정보로 다음 상태를 결정한다. 따라서 로봇 제어의 본질적 문제는 미래 예측이다.

로봇 행동 예측만으로는 불충분하다. 로봇은 세계의 일부일 뿐이고, 세계 전체도 로봇의 행동에 영향을 미친다. 따라서 카메라 입력 전체를 포함한 세계 전체 상태를 예측해야 한다.

기존의 VLA(Vision-Language-Action) 모델은 로봇 행동만 예측하는 추상 표현에 집중한다. 이 방식은 인간의 편향을 그대로 담게 된다.

반면 세계 모델은 생 입력, 즉 카메라 영상 그 자체를 예측함으로써 더 완전하고 편향 없는 정보를 얻는다.

펜을 손가락으로 회전시키는 작업처럼 이전에 풀리지 않던 문제가 있었다. 이 작업의 보상 함수를 사람이 수동으로 설계하는 것은 불가능했다.

Eureka 프로젝트에서는 LLM(대규모 언어 모델)이 직접 강화학습용 보상 함수를 파이썬 코드로 작성하도록 했다. 이를 통해 펜 회전 같은 새로운 작업도 해결할 수 있게 됐다. 이는 로봇학에서 LLM의 가능성을 보여주는 중요한 사례다.

다이나는 순수 연구 회사도, 단순 제품 회사도 아니다. 기초 연구를 선도하되 모든 결과가 플랫폼에 통합되는 구조를 지향한다.

고객 배포에서 나온 기술 과제들—일반화, 신체 제어, 빠른 적응, 언어 이해, 손재주—이 다음 연구 방향을 결정한다. 임의의 흥미가 아닌 배포 목표에서 출발해 필요한 문제를 푼다.

이는 OpenAI의 Codex, ChatGPT 사례와 같다. 기초 연구 성과를 제품 플랫폼에 곧바로 녹인다.

이 논문은 에이전트가 세계 모델 내에서 자기를 개선하는 과정에 관한 것이다.

다이나 로보틱스 창업 초기에는 세계 모델을 아직 활용하지 않았지만, 창업진은 이것이 로봇 문제를 푸는 올바른 방향이라고 확신했다.

현재 업계 기술 방향이 정확히 그쪽으로 수렴하면서, 30년 전의 통찰이 현재 구현되고 있다.

Dyna 2.1이 처음으로 보인 성과는 로봇이 직장의 '완전한 직원'이 되는 사례다. 옷을 세탁기에서 건조기로 옮기고, 문을 열고 닫으며, 회전식 손잡이를 조작하는 일을 모두 한다. 시작부터 끝까지 인간의 도움이나 다른 기계 없이 전체 세탁 작업을 수행한다.

실제 호텔 세탁실에서 떨어진 수건을 감지해 집고, 오염된 수건을 분류해 쓰레기통에 버리는 것처럼 고수준의 의사결정을 포함한다. LED 화면의 깜빡임을 감지하고 터치 센서 신호를 정확히 읽어내야 하므로 미세한 타이밍 정확도가 요구된다.

역사적으로 로봇은 독립적 기계로 여겨졌다면, Dyna 2.1은 인간의 생산성을 높이는 협력자로 정의를 바꾼다. 단순 데모가 아닌 실제 고객 현장에서, 딘타이펑의 경우 매일 수천 개의 냅킨을 접으며 운영 중이다.