Skydio, 드론 수천 대를 '인프라'로 운영하는 자율성 스택 공개

수쳇 바르고티는 에이전트 기반 오케스트레이션으로 수많은 드론을 제어하고 그 앞에 놓인 여러 과제를 푸는 방법을 주제로 발표를 시작했다. 슬라이드를 먼저 띄우는 대신 직접 비행을 시연하는 방식으로 진행을 바꿨고, 왼쪽 화면에 실시간 비행 모습을 띄웠다.

발표자는 드론 몇 대를 띄워놓은 상태에서 발사 버튼을 눌렀다. 이 기체들은 도킹 스테이션에 머물러 있던 것들로, Skydio는 이런 드론들을 하나의 인프라로 부른다.

본사가 있는 곳은 샌 마테오이며, 현재 전국적으로 전력 회사, 공공 안전 기관, 건설 업체 등에 수천 대의 드론이 배치되어 있다. 도킹 스테이션에 대기하다가 필요할 때 발진하는 구조 자체가 이 회사가 말하는 인프라의 핵심이다.

그는 키보드로 간단히 비행을 제어하며 지금 보이는 화면이 샌 마테오라고 설명했다. 줌을 하면 안개의 도시답게 항상 안개가 낀 샌프란시스코 스카이라인이 희미하게 보였고, 시선을 돌려 샌프란시스코 국제공항에서 이륙하는 비행기들을 비췄다. 항공기 추적 앱을 가진 사람이라면 지금 보이는 장면이 실시간 상황이라는 것을 알 수 있다는 말로 신뢰를 보탰다.

Skydio가 구축하고 있는 것은 차량이 어떻게 자율적으로 작동하는지를 다루는 완전 자율주행 스택이다. 여기에 클라우드 시스템이 어떻게 작동하고 클라우드 서비스가 어떻게 운용되는지가 별도의 과제로 붙는다.

그는 '이런, 사고가 발생했으니 대응해야겠다'고 말하는 동시에 뒤로 가서 '반대편에서 일어나고 있는 저 일은 어떻게 할까'라고 할 수 있어야 한다고 설명했다. 이 전 과정이 강력하게 작동하려면 어느 수준의 지능과 자동화가 필요한지가 발표 전체를 관통하는 질문이다.

그는 첫 번째 드론으로 돌아가 주변을 둘러보게 했고, 두 번째 드론이 가동을 시작하며 지나가는 차들을 추적하기 시작했다. 그중 한 대를 추적 대상으로 지정하자 그는 '어쩌면 우리가 따라가야 할 도주 차량일지도 모르겠다'며 상황을 설정했다.

그러면서 자신은 지금 손을 완전히 떼고 있다고 밝혔다. 내린 여러 명령을 통해 자율 시스템이 알아서 작동하고 있다는 것이 이 장면의 요지다.

그는 시스템에 내재되어야 할 최소한의 자율성과 미래의 인터페이스 모습을 함께 물었다. 오늘날에는 누구나 전문 조종사가 되어야 하고 자신도 자격 인증 과정을 거쳤으며 안전 기준을 고려해야 하지만, 몇 년 후에는 안전성을 자율 시스템이 결정하게 될 것이라고 내다봤다.

그때의 인터페이스는 '어이, 무슨 일이 생겼어'라고 알려주고 '드론을 보내보는 건 어떨까요'라고 제안하는 작은 슬랙 봇이 될 수 있다고 했다. 나아가면 사용자는 드론이 발진했는지조차 모를 수도 있다고 덧붙였다.

그는 작업이 진행되는 동안 모든 드론에게 잠시 멈추고 도크로 복귀하라고 지시하겠다고 말했다. 명령을 입력하자 기체들이 도크로 복귀하기 시작했고, 그 사이에 그는 발표를 시작했다.

시연은 여기서 끝나지만, 라이브로 띄운 기체가 스스로 돌아가는 것까지가 이 발표의 첫 인상이었다.

Skydio는 이 도킹 스테이션을 밤낮, 비가 오나 햇빛이 내리쬐나 매일 작동할 수 있는 인프라로 다루기 시작했다. 알래스카처럼 매우 추운 곳에도 배치했고, 텍사스 같은 극한의 더위가 있는 곳에도 몇 군데를 배치했다.

이 시스템은 99.9999%의 신뢰성을 확보해야 하며, Skydio는 이를 입증하기 위해 여러 시뮬레이션과 테스트를 거치고 있다. 오늘날 약 1,600만 명의 사람들이 이 인프라 반경 2마일 내에 거주하고 있으며, 공공 안전 기관이나 전력 회사들이 현장에 직접 가지 않고도 사고에 대응할 수 있도록 이 기술을 활용할 수 있다.

그는 자신이 몇 대를 띄우면서 '이거 띄우고, 저거 띄우고, 또 저것도 띄워야지' 하는 식으로 고민하게 된다고 털어놨다. 이 분야에 익숙한 사람조차 그렇게 여러 대를 동시에 다루면 한계에 부딪힌다는 것이다.

Skydio의 비전은 잠재적으로 감독 없이도 아주 많은 수의 드론을 동시에 띄우는 것이다. 명령의 예시로는 '나가서 이륙해라, 이 지역을 수색해라, 실종자를 찾아라, 특정 차량을 찾아 그 위치를 유지하라' 수준이 제시됐다. 이를 위해서는 자율 비행에 필요한 극도로 높은 수준의 신뢰성을 어떻게 확보할지 깊이 고민해야 한다는 것이 그의 설명이다.

그는 하드웨어, 소프트웨어, 클라우드, 사용자 인터페이스를 직접 제어해 이 모든 것을 관리할 수 있는 점을 업계 경쟁 우위로 꼽았다. 구성 요소를 각각 따로 사다 쓰는 방식이 아니라 전부를 한 손에 쥐고 있다는 것이다.

특히 자율성 덕분에 고도가 높거나 구름이 낀 환경, 혹은 고속 비행 시에도 환경을 정확히 인식하고 올바르게 작동하도록 기본 비전 시스템을 설계할 수 있다고 했다. 비가 올 때의 대처도 이 설계의 일부다.

Skydio는 실시간으로 학습을 진행하며, 이를 일종의 학습 플라이휠로 부른다. 드론을 현장에 보내 데이터를 수집하고 운용한 뒤 돌아오면 모든 비행 데이터를 기록하는 과정이다.

수집된 데이터는 구글 스트리트 뷰처럼 정제해 개인 정보가 남지 않도록 해야 하며, 고객들이 공유하는 정보가 무엇인지 명확히 알 수 있도록 해야 한다. 이 과정이 가능해지면 내린 명령과 드론이 실제로 수행한 결과 사이의 차이를 학습할 수 있는 방대한 데이터에 접근하게 된다.

예상했던 일과 실제로 일어난 일 사이의 모든 사례가 학습 대상이 되고, 이 데이터가 학습 에이전트와 강화 학습 생태계로 돌아가 재학습과 평가를 거친 뒤 다시 현장에 투입되는 선순환 플라이휠이 만들어진다는 구상이다.

모든 영상 피드와 원격 측정 데이터는 클라우드 서버를 거친다. Skydio는 그곳에 GPU와 추론 엔진을 구축해 더 무거운 작업을 처리하고 장기 계획을 세우며, 즉각적인 자율 행동은 드론에서 이루어진다. 성공적인 결과를 위한 절충안을 항상 고려한다는 설명이다.

에이전트를 클라우드에 배치하면 클라우드로 전송되는 데이터의 양이 정말 중요해진다. 대역폭이 낮은 지역에서도 최상의 영상 품질을 서비스로 전송할 수 있도록 투자하고 고민하는 부분이며, 정보를 더 작은 크기로 인코딩하고 동일한 네트워크 조건에서도 훨씬 더 높은 품질의 결과물을 얻도록 명확하게 디코딩하는 기술이 그 최적화의 내용이다.

그는 지도의 관점에서 월드 모델을 설명하며 Waymo가 작동하는 방식과 크게 다르지 않다고 말했다. Waymo는 세계 지도를 가지고 그 세계 속에서 길을 찾아가며, 국소적인 인식만 하는 것이 아니라 전체적인 계획도 함께 고려한다.

도시의 A 지점에서 B 지점으로 가야 한다면 단순히 건물에 부딪히며 피해 다니는 방식으로는 안 되고, 가는 길에 어떤 경로가 최적인지 생각해야 한다. Skydio도 이처럼 많은 사전 정보를 바탕으로 시작한다는 것이다.

두 번째 모델은 오늘날 더 일반적인 머신러닝 추론 모델로, 현장의 객체를 이해하고 추적할 뿐만 아니라 가려진 뒤편까지 추적하는 능력이다. 화면 뒤의 암묵적 표현이 객체에 대한 일종의 세계 모델로 작동해, '저 건물을 지나갔으니 반대편에서 나올 수 있겠다, 그러니 따라갈 수 있도록 이동하거나 다른 방향으로 움직여야겠다'와 같이 판단한다.

5년 전이라면 이런 작업은 더 전통적인 방식으로 수행되며 움직임을 수동으로 고민해야 했을 것이라고 그는 되짚었다. 이제는 강화학습 스타일의 기법이나 학습 기반의 엔드투엔드 접근 방식으로 모든 예외 상황을 일일이 설계하지 않아도 많은 도움을 받을 수 있다. 비가 오거나 눈이 올 때, 낮이나 밤이나 오직 비전만 사용해서 이걸 안정적으로 구현하는 것이 과제로 남는다.

추적에서 Skydio가 택한 구조는 기기 자체인 엣지에서 최소한의 추적을 수행하고, 클라우드에서는 좀 더 높은 수준의 추적을 처리하는 것이다. 그렇게 하면 전체 지도에 대해 더 깊이 추론할 수 있고, 더 무거운 모델이나 VLM을 사용해 더 많은 추론을 할 수 있다.

응답 속도는 7~10헤르츠로 아주 빠르지는 않지만 1~2초의 지연 시간으로 피드백을 줄 수 있다. 어디로 이동할지 같은 전반적인 결정을 내리기에는 충분하다는 판단이다.

Skydio는 많은 인프라 관련 고객을 위해 상당한 수준의 의미론적 추론을 수행하고 있다. 전신주를 예로 들면 '이 라인을 확인해 봐', '무언가 잘못된 것 같아' 같은 지시가 들어오길 바라며, 드론은 그곳으로 이동해 현장을 이해한 뒤 그 현장 안에서 조치를 취해야 한다.

Skydio는 이런 기본 요소와 도구를 어떻게 구축할지 끊임없이 고민한다. 현재는 사람이 코드를 작성하지만, 앞으로는 에이전트가 언제든 이러한 도구에 접근해 드론이 무엇을 보고 있는지, 어떻게 대응해야 할지 더 잘 이해하게 될 것이라고 그는 내다봤다.

그는 자율주행이나 여타 로봇 시스템 분야에는 항상 장기적인 비전이 존재한다고 말했다. 만약 가공되지 않은 센서 데이터만 주어도 완벽한 결과가 나온다면 어떨까 하는 것이 그 비전이며, 그것은 작동 방식이거나 드론이 향하는 방향, 드론이 이동하는 위치일 것이라고 짚었다.

Skydio는 강화학습을 통해 이런 동작을 여러 번 수행했을 때 어떤 결과가 나타나는지, 올바른 최종 결과에 도달하는지에 대해 많은 테스트와 시도를 거듭하고 있다.

그는 자주 '이건 직접 설계해야겠어', '이건 코딩을 해야 해' 같은 상황에 부딪힌다고 말했다. 수색·구조 작업의 규칙을 예로 들면 '나무를 찾아 보고, 없으면 여기 아래를 확인하고, 아니면 열화상 카메라를 켜고, 여기서도 못 찾으면 저기를 봐라' 같은 식이 된다.

Skydio는 코드 내에 이런 수많은 'if' 문과 분기 전략을 넣는 방식에서 벗어나, 에이전트가 고수준의 도구를 사용해 드론에 아주 높은 단계의 명령을 내릴 수 있도록 하려 한다.