테슬라, 로봇 학습에 대규모 실패 데이터 활용

미국 산호세에 위치한 휴머노이드 로봇 기업 피규어 AI는 현재 기업 가치 390억 달러(약 54조 원)를 기록하며 엔비디아 등 주요 투자자들로부터 대규모 투자를 유치했습니다. 이 회사는 한국에서는 다소 생소할 수 있지만, 로봇 분야에서 상당한 주목을 받고 있습니다.

피규어 AI는 '인덱스 프로젝트'라는 스마트폰 앱을 통해 일반인들로부터 로봇 학습 데이터를 대규모로 수집하고 있습니다. 사용자들이 앱을 설치하고 집이나 직장에서 하는 일상 업무를 영상으로 찍어 올리면 금전적 보상을 받는 구조입니다. 이 프로젝트를 통해 현재까지 1,600만 개 이상의 영상이 확보되었으며, 앱 다운로드 수는 26만 4천 건을 넘고 108개국이 참여할 정도로 활성화되어 있습니다.

피규어 AI는 향후 12개월 동안 데이터 수집 및 컴퓨팅 인프라에 10억 달러(약 1조 3,800억 원) 이상을 투자할 계획을 밝혔습니다. 이는 데이터 수집 규모를 현재의 100배까지 확대하려는 목표를 달성하기 위한 전략입니다. 회사는 이 투자를 통해 로봇 학습에 필요한 방대한 양의 고품질 데이터를 확보할 방침입니다.

피규어 AI가 이처럼 대규모 현실 데이터 수집에 집중하는 이유는 인터넷에 존재하는 글이나 영상만으로는 범용 로봇을 만드는 데 필요한 정밀한 데이터를 얻기 어렵기 때문입니다. 로봇이 실제 세계에서 작동하려면 물리적인 힘, 관절 각도, 다양한 작업 환경 및 개별적인 작업 습관과 관련된 정밀한 데이터가 필수적입니다. 이러한 데이터는 온라인상에서는 찾기 어렵습니다.

피규어 AI는 초기에 필요한 데이터를 외부 업체에서 구매하려 했으나, 데이터 판매 업체들이 요구되는 처리량, 다양성, 품질 기준을 충족시키지 못했다고 설명합니다. 시장에 돈을 지불하고서라도 로봇 학습에 적합한 데이터를 구하기 어려웠기 때문에, 회사는 결국 직접 데이터 수집 파이프라인을 구축할 수밖에 없었다고 밝혔습니다.

테슬라는 로봇 데이터 수집 방식을 2025년 6월부터 전면적으로 변경할 예정입니다. 기존에 사용하던 모션 캡처 슈트와 VR 원격 조종 방식을 중단하고, 앞으로는 카메라 기반의 데이터 수집만을 활용하겠다는 계획입니다. 특히, 오스틴 기가팩토리 현장에서 직접 데이터를 확보하여 실제 공장 환경에서의 로봇 학습 효율을 높일 방침입니다.

로봇 학습 데이터 수집 방식에 있어 피규어 AI와 테슬라는 다른 전략을 취하고 있습니다. 피규어 AI는 대규모 수집을 통해 양적 우위를 확보하려는 반면, 테슬라는 데이터를 모으되 정밀하고 정교한 품질에 집중하고 있습니다. 현재로서는 어느 쪽 접근 방식이 더 효과적일지 단정하기 어려운 상황입니다.

일론 머스크는 테슬라의 자율주행(FSD) 데이터를 로봇 학습에 그대로 적용하는 것이 어렵다고 직접 밝힌 바 있습니다. 그는 FSD 데이터를 로봇에 직접 입력하여 작동시키는 것이 비효율적임을 인정하며, 로봇 훈련을 위해서는 차별화된 데이터와 접근 방식이 필요함을 시사했습니다.

피규어 로봇은 BMW 공장에 투입되어 11개월 동안 판금 부품을 잡아서 용접 위치에 정확히 올려놓는 단순 반복 작업을 수행했습니다. 이 기간 동안 총 9만 개의 부품을 운반했는데, 이는 9만 번의 동일한 동작을 반복했다는 의미입니다. 외부 공장 환경에서는 로봇이 다양한 새로운 시도를 하거나 실패로부터 배우기 어려운 한계가 있습니다.

테슬라가 자체 공장을 보유하고 있다는 점은 로봇 학습에 큰 이점으로 작용합니다. 남의 공장에서는 단순한 일만 시키고 성공적인 결과만을 기대하지만, 테슬라 공장에서는 로봇에게 안 되는 일도 시켜보고 왜 실패했는지 기록으로 남길 수 있습니다. 로봇이 배우는 데 있어 사람과 마찬가지로 성공한 기록보다는 실패한 기록이 더 중요한 학습 자료가 될 수 있다는 것이 테슬라의 입장입니다.

일론 머스크의 '옵티머스 아카데미'는 최소 1만 대에서 3만 대 규모의 로봇을 한곳에 모아 운영할 계획입니다. 이 로봇들은 정해진 일만 하는 것이 아니라, 각자 다른 시도를 하고 그 과정에서 발생하는 모든 데이터를 기록으로 남겨 공유하게 됩니다. 이는 로봇에게 정답을 주입하는 대신, 로봇 스스로 경험하고 실패하며 학습하는 데이터를 누적시키려는 전략입니다.

알파고 제로는 인간의 기보(棋譜) 학습 없이, 바둑의 규칙만을 알고 스스로 수백만 번의 대국을 통해 학습했습니다. 그 결과, 단 3일 만에 490만 판의 대국을 치르며 이세돌 9단을 이겼던 알파고 리를 100대 0으로 압도하는 실력을 보여주었습니다. 이는 스스로 학습하는 방식이 얼마나 강력한 성능 향상을 가져올 수 있는지 보여주는 대표적인 사례입니다.

바둑은 규칙이 명확하여 컴퓨터가 결과를 100% 정확하게 계산할 수 있는 세계입니다. 그러나 현실은 예측 불가능한 물리적 돌발 변수가 많아 규칙만으로는 모든 상황을 통제하기 어렵습니다. 물건이 손에서 미끄러지거나 발이 걸리는 상황처럼 규칙이 없는 변수들이 로봇의 작동에 영향을 미칠 수 있습니다. 테슬라는 실제 주행 데이터로 구축한 정밀한 가상 훈련장을 통해 이러한 현실의 복잡성에 대비하고 있으며, 이는 로봇 학습의 핵심적인 강점으로 작용할 것입니다. 이 가상 훈련장은 현실 세계에서 발생할 수 있는 수많은 변수를 시뮬레이션하고 로봇이 이에 대응하는 방법을 학습하도록 돕는 중요한 역할을 합니다.