정확한 ML 모델도 현장에서는 실패… 9년간의 배포 실패 교훈 공개

메건 로버트슨은 9년 가까이 머신러닝(ML) 모델을 배포하면서 얻은 경험을 공유하며, 개발 환경에서 성공적인 개념 증명(PoC) 모델을 만들었더라도 반드시 프로덕션으로 이어지거나 오래 유지되는 것은 아니라는 점을 강조했다. 그는 수십 개의 ML 모델을 개발하고 배포하는 과정에서 다양한 실패를 겪었으며, 이 경험을 통해 성공적인 모델 배포를 위한 중요한 교훈을 얻었다고 설명했다. 이는 단순히 기술적인 완성도를 넘어 실제 비즈니스 환경에서의 성공을 위해서는 더 많은 고려가 필요하다는 점을 시사한다.

로버트슨은 자신이 진행했던 프로젝트 중 상당수가 PoC 단계에서 탁월한 성능을 보였음에도 불구하고, 실제 프로덕션 환경에 적용되지 못하거나 짧은 수명으로 끝나는 경우가 많았다고 고백했다. 이러한 경험은 ML 모델 개발자들이 흔히 겪는 문제이며, 기술적 완성도와 별개로 사업적 성공을 가로막는 여러 장애물이 있음을 보여준다.

그는 이 강연을 통해 ML 모델이 업계에서 성공하기 위해 필요한 요소들에 대한 깊이 있는 통찰을 제공하겠다고 밝혔다. 단지 모델의 예측 정확도만을 쫓는 것이 아니라, 실제 비즈니스 가치를 창출하고 지속 가능한 운영을 가능하게 하는 다각적인 접근 방식의 중요성을 강조했다.

메건 로버트슨은 청중에게 성공과 실패를 바라보는 시각을 바꿔볼 것을 권장했다. 그는 실패를 단순히 부정적인 결과로 보지 않고, 학습의 기회로 인식해야 모델 배포 프로젝트의 성공 가능성을 높일 수 있다고 강조했다. 이러한 관점의 변화는 문제 발생 시 좌절하기보다는 해결책을 찾고 미래 프로젝트에 반영하는 긍정적인 순환을 만든다는 설명이다.

그는 '실패'라는 단어를 인용 부호 안에 넣어 사용하며, 이는 완전한 실패가 아닌 교훈을 얻는 과정임을 나타낸다고 설명했다. 예측 정확도가 100%에 달하는 완벽한 모델은 현실적으로 존재하기 어려우므로, 모델이 틀리거나 예상치 못한 결과를 보일 때마다 그 원인을 분석하고 개선점을 찾아야 한다는 것이다.

궁극적으로 로버트슨은 이러한 접근 방식이 ML 엔지니어와 데이터 과학자가 더 강해지고, 더 나은 모델을 구축하며, 사업적으로 의미 있는 결과를 가져오는 데 기여할 것이라고 밝혔다. 실패를 통해 얻은 지식을 다음 프로젝트에 적용함으로써 점진적인 발전과 성공을 이룰 수 있다는 메시지를 전달했다.

메건 로버트슨은 과거 자신이 참여했던 한 소셜 미디어 분석 프로젝트의 실패 사례를 공유하며 ML 모델 배포의 교훈을 설명했다. 이 프로젝트는 한 회사가 업계 트렌드를 파악하고 경쟁 우위를 확보하는 데 필수적인 정보를 제공하는 것을 목표로 했다.

회사는 소셜 미디어 데이터를 분석하여 최신 트렌드를 파악하고, 이를 통해 사업 전략을 수립하고자 했다. 로버트슨은 이 프로젝트가 자신의 커리어 초기에 진행되었으며, 이 경험이 오늘날 이해관계자 및 고객과 협력하는 방식에 큰 영향을 미쳤다고 밝혔다.

메건 로버트슨은 소셜 미디어 분석 프로젝트를 위해 자연어 처리(NLP) 기술을 활용한 모델을 개발했다고 밝혔다. 당시 그는 NLP 과정 이수를 통해 관련 지식이 풍부했고, 이를 실제 프로젝트에 적용하여 언어 모델링 능력을 발휘하고 싶었다. 이 프로젝트는 새로운 기술을 실험하고 자신의 역량을 증명할 좋은 기회로 여겨졌다.

로버트슨은 모델이 소셜 미디어에서 특정 키워드를 식별하고, 관련 주제를 묶어 트렌드를 포착하도록 설계했다. 데이터브릭스(Databricks) 환경에서 개념 증명(PoC) 모델을 구축했으며, 다양한 테스트를 통해 정량적인 주제 일관성 측정 기준으로도 모델이 잘 작동함을 확인했다. 이 모델은 초기 단계에서 매우 유망해 보였고, 기술적으로도 성공적이었다고 그는 평가했다.

메건 로버트슨은 자신의 초기 경력 프로젝트인 소셜 미디어 분석 사례에서 몇 가지 단점을 인정하며, 그중 첫 번째로 '최소한의 이해관계자 협의'를 꼽았다. 그는 프로젝트를 진행하면서 이해관계자들과 충분한 대화를 나누지 않았으며, 이로 인해 프로젝트의 실제 필요성과 동떨어진 결과물이 나올 위험이 있었다고 설명했다.

이러한 경험은 로버트슨이 현재 이해관계자 및 고객과 협력하는 방식에 큰 영향을 미쳤다고 언급했다. 그는 당시의 부족했던 소통이 프로젝트 실패의 중요한 원인 중 하나였음을 깨달았고, 이후 프로젝트에서는 이해관계자와의 긴밀한 협력을 최우선으로 고려하게 되었다고 밝혔다.

로버트슨은 소셜 미디어 분석 프로젝트 실패의 두 번째 주요 원인으로 '데이터 비용' 문제를 지적했다. 그는 프로젝트 초기에는 특정 소셜 미디어 사이트의 데이터를 운 좋게 무료로 사용할 수 있었으나, 프로젝트 시작 약 한 달 전에 해당 사이트가 API를 통한 데이터 청구 방식을 변경하기로 결정하면서 상황이 급변했다고 설명했다.

이러한 비용 증가는 프로젝트의 지속 가능성에 큰 타격을 주었으며, 이해관계자와의 충분한 대화 부족이 이 문제를 더욱 악화시켰음을 시사했다. 그는 이처럼 외부 요인으로 인한 데이터 접근성 및 비용 변화가 ML 모델 배포에 예상치 못한 장애물이 될 수 있음을 강조했다.

메건 로버트슨은 자신의 소셜 미디어 분석 프로젝트에서 개발된 모델이 정량적인 주제 일관성 측정 기준으로 볼 때 매우 잘 작동했다고 밝혔다. 즉, 기술적인 성능 자체는 우수했다는 평가다. 그러나 그는 이 모델의 코드가 테스트 환경인 데이터브릭스(Databricks)를 벗어나 실제 프로덕션 환경에 적용된 적이 없는 것 같다고 언급하며 아쉬움을 표했다.

이는 모델의 기술적 성능이 뛰어나더라도, 이해관계자 협의 부족이나 예상치 못한 데이터 비용 문제 등 비기술적인 요인들이 결합되어 최종적으로 실제 배포에 실패할 수 있음을 보여준다. 로버트슨은 이 사례를 통해 단순히 좋은 모델을 만드는 것만으로는 실제 산업적 성공을 보장할 수 없다는 교훈을 얻었다고 강조했다.

메건 로버트슨은 10년 가까운 경력을 통해 개념 증명(PoC)이나 테스트 환경에서 훌륭하게 작동했던 머신러닝 모델이 실제 산업 환경에서 성공을 거두지 못하는 두 가지 큰 패턴을 발견했다고 밝혔다. 첫 번째는 '작업 범위가 완전히 정의되지 않은 경우'이다. 이는 프로젝트의 목표와 요구 사항이 명확하게 설정되지 않아, 모델 개발이 비즈니스 목표와 동떨어지게 진행될 위험이 있음을 의미한다.

두 번째 원인은 '세상이 시간이 지남에 따라 변한다'는 점이다. 모델이 구축된 시점의 데이터와 현실 세계의 패턴이 시간이 지나면서 변화하여 모델의 예측 정확도나 유효성이 떨어지는 현상이다. 이는 소셜 미디어 데이터 비용 문제와 같이 외부 환경 변화에 대한 예측 및 대응의 중요성을 강조한다.

이 두 가지 패턴은 ML 모델 개발자들이 기술적인 문제 해결에만 집중하기보다, 비즈니스 맥락과 현실 세계의 역동성을 함께 고려해야 한다는 중요한 메시지를 전달한다. 로버트슨은 이러한 실패 원인을 이해하고 대처하는 것이 성공적인 ML 모델 배포의 핵심이라고 역설했다.

메건 로버트슨은 성공적인 머신러닝 프로젝트의 기반은 '적절한 범위 설정'이라고 강조했다. 새로운 프로젝트를 시작할 때, 다양한 데이터 소스와 모델 아이디어가 넘쳐나 즉시 코딩하고 계산하고 싶은 유혹을 느낄 수 있지만, 이는 자칫 '토끼 굴'에 빠져 실제 해결해야 할 문제를 놓칠 수 있다고 경고했다. 그는 초기에 프로젝트의 목표, 해결하려는 문제, 그리고 예상되는 결과물을 명확하게 정의하는 것이 중요하다고 설명했다.

적절한 범위 설정은 프로젝트가 비즈니스 가치에 집중하도록 돕고, 불필요한 자원 낭비를 방지한다. 예를 들어, 특정 데이터 세트가 없는 상황에서 "우리는 사기 탐지 모델을 구축할 것입니다"라고 말하는 것은 올바른 접근 방식이 아니라고 지적했다. 대신 "데이터가 없으므로 사기 탐지를 위한 데이터 수집부터 시작해야 합니다"와 같이 현실적이고 명확한 단계 설정이 필요하다는 것이다. 이는 프로젝트의 실행 가능성을 높이고, 이해관계자들에게 투명한 진행 상황을 전달하는 데 기여한다.

로버트슨은 프로젝트 시작 단계에서 '데이터는 무엇인가? 목표는 무엇인가? 목표를 달성하기 위한 지표는 무엇인가?'와 같은 질문을 던지는 것이 중요하다고 조언했다. 이는 모호한 아이디어를 구체적인 실행 계획으로 전환하고, 프로젝트 팀이 공통의 목표를 향해 나아가도록 돕는다. 이러한 질문들은 프로젝트의 초기 단계에서 혼란을 줄이고, 올바른 방향으로 나아가는 데 필수적인 역할을 한다.

또한, 적절한 범위 설정은 '좋은 모델'의 의미를 재정의하게 한다. 기술적으로 가장 정교하고 복잡한 모델이 항상 최적의 솔루션은 아니며, 때로는 단순하지만 비즈니스 목표에 부합하는 모델이 더 나은 선택일 수 있다고 강조했다. 이는 모델의 기술적 성능뿐만 아니라 비즈니스 적합성, 비용 효율성, 유지보수 용이성 등 다양한 측면을 고려해야 함을 의미한다.

메건 로버트슨은 머신러닝 프로젝트의 모든 단계에서 '각 단계에서 정의하는 것이 비즈니스 목표에 기여하는가?'라는 질문을 기본 질문으로 삼아야 한다고 강조했다. 궁극적으로는 비즈니스와 이해관계자에게 실질적인 도움이 되는 것을 구축해야 한다는 것이다. 그는 과거에 프로젝트를 진행하며 새로운 기술을 적용하고 싶은 마음에 원래의 비즈니스 목표에서 멀어지는 경험을 해봤다고 고백했다.

이러한 질문은 프로젝트가 기술적 흥미를 넘어 실제 문제를 해결하고 비즈니스 가치를 창출하는 방향으로 나아가도록 돕는다. 예를 들어, 특정 기능 추가나 모델 개선 작업이 비즈니스 목표에 어떻게 기여하는지 명확히 설명할 수 있어야 한다. 만약 기여도를 명확히 설명하기 어렵다면, 해당 작업의 우선순위를 재고하거나 다른 접근 방식을 모색해야 할 수 있다.

로버트슨은 이 질문에 끊임없이 답함으로써 프로젝트가 올바른 길을 유지하고, 개발 과정에서 발생할 수 있는 '토끼 굴' 함정에 빠지지 않을 수 있다고 조언했다. 이는 개발자가 기술적 전문성을 발휘하면서도 항상 비즈니스 관점에서 사고하는 습관을 들여야 함을 강조하는 부분이다.

메건 로버트슨은 비기술적 이해관계자와 협력할 때, 그들이 '필요하다고 생각하는 것'과 '실제로 필요한 것' 사이에 차이가 있는 경우가 많다고 지적했다. 특히 이전에 함께 작업해 본 적 없는 팀과의 협업에서 이러한 현상이 두드러진다. 데이터 과학자나 ML 엔지니어는 이해관계자들이 겪고 있는 실제 문제의 근본 원인을 파악하기 위해 적극적으로 대화하고 질문해야 한다고 강조했다.

이는 단순히 요구 사항을 받아 적는 것을 넘어, 이해관계자의 비즈니스 맥락과 목표를 깊이 이해하려는 노력이 필요하다는 의미이다. 로버트슨은 구체적인 질문을 통해 잠재적인 문제점과 모델이 가져올 수 있는 영향을 함께 논의함으로써, 프로젝트의 방향성을 명확히 하고 오해를 줄일 수 있다고 설명했다.

메건 로버트슨은 모델 구축 단계에서 잘못된 예측의 잠재적 위험을 미리 브레인스토밍하는 것이 중요하다고 강조했다. 그는 자신이 '잔이 반쯤 비었다'고 생각하는 비관적인 성격은 아니지만, 모델이 아무리 성능이 좋고 실수가 거의 없다고 하더라도, 그 실수의 결과가 치명적이라면 제품으로 출시해서는 안 된다는 점을 역설했다.

모델의 잠재적 위험을 이해하는 것은 단순히 기술적인 정확도를 넘어, 실제 세상에 미칠 수 있는 부정적인 영향을 사전에 인지하고 관리하는 데 필수적이다. 이는 모델의 배포 여부와 운영 방식을 결정하는 중요한 기준이 된다고 설명했다.

메건 로버트슨은 머신러닝 모델의 예측 오류가 초래할 수 있는 결과의 유형에 따라 그 중요성이 크게 달라진다고 설명했다. 그는 "언제 모델이 틀려도 괜찮은지 생각해 보세요"라고 질문하며, 어떤 모델도 100% 옳을 수 없지만, 모델이 틀렸을 때 훨씬 더 나쁜 상황이 벌어지는 경우가 있음을 지적했다.

예를 들어, 암 진단 모델의 경우를 들었다. 만약 모델이 암에 걸릴 확률이 낮은 사람에게 높다고 잘못 예측한다면, 의사는 값비싼 검사를 지시할 것이고 결국 암이 없다는 것을 알게 된다. 이는 환자에게 불필요한 재정적 부담과 정신적 고통을 안겨줄 수 있다. 반대로 모델이 위험이 매우 낮다고 잘못 예측했지만 실제로는 높은 위험에 처해 있다면, 의사는 치료에 돈을 쓰지 말라고 할 것이고, 환자는 질병에 대한 위험을 알지 못한 채 살아가게 될 수 있다. 이 두 가지 오류 중 어떤 것이 더 심각한 결과를 초래할지는 명확하다.

로버트슨은 이처럼 예측 오류의 결과가 생명을 위협하는 상황과 단순히 재정적 손실을 초래하는 상황을 명확히 구분해야 한다고 강조했다. 모델의 정확성 지표(예: F1 점수, 정확도)만으로는 이러한 잠재적 위험을 충분히 반영할 수 없다는 것이다. 모델이 특정 비즈니스 또는 사회적 맥락에서 잘못된 예측을 했을 때 발생할 수 있는 최악의 시나리오를 미리 파악하고, 그에 대한 안전장치를 마련하는 것이 중요하다고 덧붙였다.

결론적으로, 모델 개발자는 기술적인 성능 지표를 넘어 모델이 실제 세계에 미칠 수 있는 윤리적, 사회적, 경제적 영향을 심층적으로 고려해야 한다. 이는 모델 배포 여부와 함께, 모델의 임계값 설정, 오류 발생 시 대응 전략 등을 결정하는 데 핵심적인 요소가 된다.

메건 로버트슨은 매우 복잡하고 정교하게 구축된 모델이 단순한 모델보다 성능이 단 2%만 더 우수하다면, 많은 기업들이 후자를 택하는 경향이 있다고 설명했다. 이는 복잡한 솔루션이 프로덕션 단계로 넘어가려면 더 많은 자원과 비용, 그리고 더 큰 위험을 수반하기 때문이다. 복잡성은 구축뿐만 아니라 유지보수 및 문제 해결에도 어려움을 가중시키며, 문제가 발생했을 때 원인을 파악하기 어렵다는 단점도 있다.

기업의 입장에서는 단순하고 구현이 쉬운 모델이 약간의 성능 손실을 감수하더라도 전반적인 운영 효율성과 안정성 측면에서 더 유리하다고 판단할 수 있다. 로버트슨은 반나절도 안 걸리는 단순한 모델이 복잡한 모델과 큰 차이 없는 성능을 보인다면, 기업은 실용성을 우선시한다는 점을 강조했다. 이는 데이터 과학자들이 모델의 기술적 우수성에만 집착하기보다, 비즈니스 가치와 운영 효율성이라는 더 넓은 관점에서 모델을 평가해야 함을 시사한다.

메건 로버트슨은 ML 모델 배포의 또 다른 함정으로 '모델 드리프트(Model Drift)' 무시를 지적했다. 모델 드리프트는 모델이 구축되고 배포된 이후, 현실 세계의 데이터 분포나 관계가 변화하면서 모델의 예측 성능이 점진적으로 저하되는 현상을 의미한다. 그는 이 주제를 통해 개념 증명 단계에서는 잘 작동하던 모델이 세상의 새로운 관계를 더 이상 정확히 포착하지 못하게 되는 경우를 설명하겠다고 밝혔다.

이는 모델이 '한 시점의 스냅샷'에 불과하며, 세상은 끊임없이 변화한다는 기본적인 전제에서 출발한다. 경제 상황, 사회 트렌드, 사용자 행동 패턴 등 다양한 외부 요인이 변할 때, 과거 데이터로 학습된 모델은 더 이상 현재의 현실을 제대로 반영하지 못하게 될 수 있다. 로버트슨은 이러한 변화를 인지하고 적절히 대응하는 것이 장기적인 모델 성공에 필수적이라고 강조했다.

메건 로버트슨은 모델 드리프트의 중요성을 강조하며 Ben Wilson의 저서 'Machine Learning, Engineering, and Action'에 나오는 인용구를 언급했다. 벤 윌슨은 책에서 "모델은 드리프트합니다. 정적 구현이라는 것은 없습니다"라고 기술했다. 로버트슨은 이 인용구를 프로덕션 시스템을 구축할 때마다 항상 마음속에 새긴다고 밝혔다.

이 인용구는 ML 모델이 한 번 배포되면 영원히 같은 성능을 유지할 것이라는 오해를 불식시킨다. 세상의 변화에 따라 모델의 유효성은 점차 감소하며, 이는 지속적인 모니터링과 유지보수의 중요성을 강조한다. 아무리 최고의 모델을 프로덕션에 투입하고 초기에는 잘 작동하더라도, 시간이 지나면 세상은 변하고 모델도 그에 맞춰 변화해야 한다는 것이다.

메건 로버트슨은 모델 드리프트 발생 시의 대처 방안을 제시했다. 그는 어떤 유형의 드리프트를 겪고 있는지 인지하는 것이 해결책 선택에 도움이 된다고 설명했다. 첫 번째 방안은 '피처 엔지니어링 재작업'이다. 입력 변수의 분포가 달라지는 데이터 드리프트(data drift)가 발생했다면, 데이터를 요약하는 방식을 변경해야 할 수 있다. 예를 들어, 새로운 데이터 특성을 반영하거나 기존 특성의 정의를 수정하는 것이다.

두 번째는 '모델 재훈련'이다. 새로운 데이터가 지속적으로 유입되고 기존 모델이 더 이상 충분한 성능을 내지 못할 때, 최신 데이터를 사용하여 모델을 다시 훈련하는 것이 일반적인 해결책이다. 세 번째는 '새로운 알고리즘 적용'이다. 기존 모델의 한계가 명확해졌거나, 더 나은 성능을 제공하는 새로운 기술이 등장했다면, 완전히 다른 머신러닝 알고리즘으로 전환하는 것을 고려할 수 있다. 마지막으로, 때로는 '모델 폐기'도 하나의 방안이 될 수 있다. 특정 모델이 더 이상 비즈니스 가치를 제공하지 못하거나, 유지보수 비용이 너무 커진다면 과감하게 해당 모델을 중단하고 다른 솔루션을 모색하는 것이 현명할 수 있다고 로버트슨은 강조했다.

메건 로버트슨은 강연의 핵심 요약을 제시하며, 지난 한 시간 동안 다른 모든 것을 잊더라도 이 세 가지는 기억해 달라고 강조했다. 첫째, '예측력이 높은 모델만으로는 업계에서 성공하기에 충분하지 않다'는 점이다. 모델의 기술적 성능뿐만 아니라, 이해관계자의 요구를 충족하고 비즈니스 목표에 기여하는지 확인하는 것이 필수적이다. 그는 모델이 실제 문제를 해결하고 가치를 창출해야만 성공할 수 있다고 역설했다.

둘째, '이해관계자를 프로세스에 참여시켜야 한다'는 점이다. 프로젝트 초기 단계부터 비기술적 이해관계자들과 긴밀하게 소통하고, 그들의 의견을 경청하며, 프로젝트의 범위와 목표를 명확히 정의해야 한다. 이는 오해를 줄이고, 모델이 최종 사용자의 실제 필요에 부합하도록 만드는 데 결정적인 역할을 한다. 로버트슨은 이해관계자의 관점을 이해하는 것이 기술적 전문성만큼 중요하다고 강조했다.

셋째, '모델은 특정 시점의 스냅샷일 뿐이다'라는 점을 명심해야 한다. 세상은 끊임없이 변화하며, 모델이 구축될 당시의 데이터와 현실 세계의 패턴은 시간이 지나면서 달라질 수 있다. 따라서 모델 드리프트에 대한 지속적인 모니터링과 재훈련, 혹은 필요에 따라 모델을 수정하거나 폐기하는 유연한 접근 방식이 필요하다. 로버트슨은 이러한 핵심 원칙들이 ML 모델의 성공적인 배포와 장기적인 유지를 위한 필수적인 고려 사항이라고 결론지었다.