Marques Brownlee, YouTube의 새로운 A/B 테스트 비판

저명한 기술 리뷰어 Marques Brownlee는 YouTube가 고유한 강점을 강화하기보다 다른 플랫폼을 모방하는 데 너무 많은 노력을 기울이고 있다고 주장합니다.

그는 특히 최근 공개된 동영상 A/B 테스트 기능을 플랫폼이 지금까지 도입한 개념 중 가장 위험하고 잠재적으로 해로운 개념으로 지적합니다.

크리에이터들은 작년부터 썸네일과 제목에 A/B 테스트를 활용해 왔으며, 이는 Brownlee가 처음에는 반대했지만 결국 콘텐츠 최적화를 위한 도구로 받아들인 관행입니다.

그러나 그는 분명한 선을 그으며, 동일한 A/B 테스트 방법론을 실제 동영상 콘텐츠 자체에 적용하는 것은 너무 나아간 단계라고 말하며 심각한 우려를 제기합니다.

테스트가 완료되면 시스템은 세 가지 고유한 시청 유지율 그래프를 제공하여 크리에이터가 가장 효과적인 동영상 편집본을 식별하는 데 도움을 줍니다.

Brownlee는 다른 동영상 버전이 유통될 경우 시청자들이 댓글과 타임스탬프를 어떻게 탐색할지에 대해 의문을 제기하며, 특정 순간을 참조하는 사용자에게 잠재적인 혼란을 언급했습니다.

그는 또한 일관성에 대한 우려를 표명하며, 링크를 공유하면 수신자가 발신자가 원래 시청한 것과 다른 동영상 버전을 볼 수 있어 공유 경험을 방해할 수 있다고 강조했습니다.

Brownlee에 따르면, 해결되지 않은 중요한 문제는 테스트를 위해 제출된 동영상 버전 간의 허용 가능한 편차 정도에 대한 명확성 부족입니다.

Brownlee의 지난 1년간의 썸네일 테스트 경험에 따르면, 텍스트 크기 조정이나 화살표 배치와 같은 사소한 변경 사항은 통계적으로 유의미한 결과를 거의 생성하지 않습니다.

그는 의미 있는 성능 통찰력은 일반적으로 테스트되는 개념이 근본적으로 다를 때만 나타난다는 점을 지적하며, '유지율 극대화' 전략을 실제 동영상 본문에 적용하여 학습하는 것의 유용성에 의문을 제기합니다.

그는 이 '유지율 극대화' 전략을 실제 동영상 본문에 적용하는 것이 크리에이터들에게 의미 있는 학습을 제공할지 의문을 제기합니다.

Brownlee는 YouTube의 자체 예시에서 17분 대 19분과 같은 길이 차이를 보여주는 것을 인용하며, 동영상 버전 간의 허용 가능한 차이에 의문을 제기했습니다.

그는 또한 A/B 테스트 메커니즘이 시청자를 위한 기존 타임스탬프 기능을 필연적으로 망가뜨릴 것이라는 강력한 우려를 표명했습니다.

이러한 구현 문제를 해결하기 위해 Brownlee는 YouTube 엔지니어들과 논의하여 그들의 계획에 대한 추가적인 설명을 들었습니다.

배후에서 YouTube는 특정 사실적 수정을 해결하기 위해 수년 동안 동영상 파일을 교체하는 제한된 도구를 운영해 왔습니다.

이 도구는 현재 애플 광고의 오류 수정과 같은 정확한 사실적 수정을 위해서만 사용됩니다.

주요 제한 사항은 모든 교체 동영상이 원본 파일과 길이가 거의 동일해야 하며, 수정 자체만이 어떤 차이든 설명해야 한다는 것입니다.

이 모델에 의해 결정된 충분히 높은 유사성 점수를 달성한 동영상만 A/B 테스트로 실행될 자격이 주어집니다.

Brownlee는 Gemini의 단순한 스크립트를 넘어선 동영상 콘텐츠 분석의 현재 한계와 비교하며 모델의 효율성에 회의적인 입장을 표명했습니다.

A/B 테스트는 동영상 초기 출시에만 제한되며, 기존 콘텐츠에는 사용할 수 없습니다.

업로더와 시청자 모두 어떤 동영상 버전이 테스트되고 있는지 알지 못하여 댓글 및 콘텐츠 참조와 관련하여 상당한 혼란을 초래할 수 있습니다.

Brownlee는 변경된 결론이나 재정렬된 세그먼트와 같은 중요한 콘텐츠 차이를 감지하는 시스템의 능력에 의문을 제기하며, 테스트 과정에서 발생할 수 있는 잠재적 모호성을 더욱 강조합니다.

Marques Brownlee는 YouTube의 본질은 모든 시청자가 동일한 동영상을 시청하며 공통된 경험을 공유한다는 암묵적인 합의에 있다고 주장합니다.

그는 크리에이터가 동일한 동영상의 여러 버전을 동시에 업로드할 수 있도록 하는 것이 사소한 패키징 차이가 이전에도 존재했더라도 이 공유된 문화 현상을 근본적으로 방해한다고 주장합니다.

Brownlee는 YouTube가 경쟁 플랫폼의 기능을 채택하려는 지속적인 경향을 비판하며, 이는 플랫폼의 고유한 커뮤니티 정체성을 약화시킨다고 믿습니다.

YouTube는 이전에 크리에이터들이 시청자 정서를 측정하는 데 독특하게 유용하다고 생각했던 싫어요 수의 공개 표시를 제거했습니다.

플랫폼은 또한 조회수 계산 방법론을 수정하여 이제 동영상의 첫 프레임이 로드되는 즉시 조회수로 등록하는데, 이는 더 자유로운 접근 방식입니다.

Brownlee는 이를 TikTok의 조회수 계산 방법과 대조하며, YouTube의 이전의 더 엄격한 조회수 측정 방식이 각 개별 조회수를 더 가치 있는 참여 지표로 만들었음을 암시합니다.

Brownlee는 대다수의 크리에이터(99.9%)가 새로운 동영상 A/B 테스트 기능을 사용하지 않아야 한다고 조언합니다.

그는 시청 유지율을 지나치게 최적화하는 것이 종종 크리에이터의 스타일을 정의하는 독특하고 재미있고 개성 있는 요소를 제거하는 결과를 낳는다고 주장합니다.

Brownlee는 YouTube에서의 성공이 대중적 매력에 의해서만 정의되는 것이 아니라고 강조하며, 틈새 콘텐츠가 플랫폼의 전반적인 가치와 다양성에 크게 기여하며, 지속적인 최적화가 필수적인 창의적 스토리텔링 요소를 제거할 수 있다고 지적합니다.

Brownlee는 크리에이터의 시간이 단일 프로젝트를 조회수 또는 평균 시청 지속 시간의 미미한 이득을 위해 끝없이 다듬는 데 과도한 노력을 투자하기보다는 더 많은 수의 동영상을 제작하고 게시하는 데 더 잘 사용될 것이라고 제안합니다.

그는 크리에이터가 콘텐츠 선택을 지시하기 위해 자동화된 A/B 테스트에 의존하기보다는 원래의 창의적 비전을 유지해야 한다고 주장합니다.

Brownlee에 따르면 진정한 창의적 과정은 동영상을 완성하고, 성공과 실패 모두에서 교훈을 얻은 다음, 그 통찰력을 후속 프로젝트에 적용하는 것을 포함합니다.