GPT-6 Astra, 5개 난제 도전 결과

CodeWithHarry 채널은 GPT-6 Astra의 능력을 확인하기 위해 5가지 불가능해 보이는 과제를 설정했다.

이론적인 논쟁 대신 실제 업무 수행 능력을 측정하여 AI의 한계와 인간의 역할을 구분하고자 했으며, 테스트 결과에 따라 100점 만점으로 점수를 매겨 보고서 카드를 작성할 계획이라고 밝혔다.

GPT-6 Astra는 특정 프리미어 프로젝트(template.prproj)의 조정 레이어 효과를 복사하여 다른 프로젝트에 적용하도록 지시받았다.

화이트 밸런스, 틴트, 채도, 노출 등 색상 보정 값을 정확히 인식하여 복제했으며, 오디오 노이즈 제거 효과(De-noise) 레벨을 11%로 설정하여 적용하도록 요청했다.

AI는 3분 만에 해당 편집 작업을 완료하는 성과를 보였다.

이 작업은 "archives and compressions.mp4" 파일에 적용되어 새로운 프리미어 파일로 생성됐다.

오디오 효과 11% 적용 정확도는 100%였지만, 전반적인 생산성이 낮게 평가됐다.

이러한 요인들로 인해 100점 만점에 63점이 부여됐다.

GPT-6 Astra는 프리미어 컴포저 연동에 실패하며 모델 자체 오류를 발생시켰다.

AI가 임의로 침묵 구간을 제거하여 영상이 로봇처럼 부자연스럽게 변했으며, 불규칙한 컷 편집과 블랙 프레임 처리도 미흡했다.

결과적으로 100점 만점에 33점이라는 낮은 점수를 받았다.

코딩 능력 검증을 위해 ilovepdf.com 사이트 복제 과제가 GPT-6 Astra에 주어졌다.

원본 사이트의 모든 기능을 포함하고, Next.js 최신 버전을 사용한 기능 구현이 요구됐다.

시니어 개발자 수준의 확장성과 산업 표준 적용을 전제로 한 PDF 편집 웹사이트 제작 테스트가 진행됐다.

시니어 개발자 수준의 확장성과 산업 표준 적용이 요청되었으며, 전체 프로젝트 생성 및 로컬 호스트 구동까지 확인하도록 요구됐다.

GPT-6 Astra가 개발한 웹사이트의 PDF 병합 기능은 완벽하게 작동했으며, 디자인 만족도는 10점 만점에 10점을 받았다.

PDF 분할 기능 또한 페이지 단위로 정확히 수행되어 핵심 기능 구현에서는 성공적인 결과를 보였다.

PDF 압축 기능은 5.1MB 파일 테스트 결과 압축 전후 변화가 없어 미작동하는 것으로 확인됐다.

웹사이트 개발에 총 52분이 소요되어 AI가 이러한 웹사이트를 만들기에는 너무 긴 시간으로 평가됐다.

기능 오류와 긴 소요 시간이 감점 요인으로 작용하여 코딩 수준 평가에서 100점 만점에 65점을 받았다.

전반적으로 핵심 기능 중 하나인 압축 기능이 제대로 구현되지 않은 점이 평가에 부정적인 영향을 미쳤다.

전문 편집자가 수개월 걸릴 난이도의 작업을 AI가 수행할 수 있는지 검증하기 위해 브라우저 기반의 영상 편집기 개발에 풀 액세스 권한이 부여됐다.

사용자가 특정 디렉토리 경로에 단축키와 인터페이스 등 모든 면에서 프리미어 프로와 유사한 편집기 제작을 지시했으며, 수십 가지 기능을 통합해야 했다.

전문 편집자가 수개월 걸릴 작업을 AI가 수행할 수 있는지 검증하기 위해 풀 액세스 권한을 부여하고 약 1시간의 생성 시간을 허용했다.

AI가 생성한 Next.js 코드를 통해 브라우저 환경에서 영상 편집기 인터페이스가 성공적으로 실행됐다.

프리미어 프로와 100% 동일한 인터페이스는 아니지만, 기본적인 편집 기능을 갖춘 웹 앱 형태로 구현된 것을 확인했다.

로컬 파일을 드래그 앤 드롭 기능을 통해 영상 불러오기에 성공했으며, 브라우저에서 고해상도 영상 재생 및 1/4 해상도 설정이 지원되는 것을 확인했다.

키프레임을 이용한 스케일 조절 및 위치(Position) 값 변경 기능도 정상 작동했다.

이러한 기능들은 브라우저 기반 편집기임에도 불구하고 상당한 수준의 편집 기능을 제공함을 보여준다.

이를 통해 사용자는 기본적인 영상 편집 작업을 웹 환경에서 수행할 수 있게 됐다.

브라우저 인코더를 통해 편집된 영상을 MP4 파일로 최종 익스포트하는 시도가 성공적으로 이루어졌다.

자바스크립트 환경에서 실제 렌더링 및 편집된 키프레임 효과가 반영된 것을 확인하여 AI가 생성한 편집기의 완성도를 입증했다.

AI가 생성한 브라우저 기반 영상 편집기는 색상 보정, 노출, 채도 조절 등 핵심 영상 편집 기능이 정상 작동했다.

브라우저 기반임에도 전체 화면 모드 등 수준 높은 인터페이스를 구현했으며, 49분 만에 결과물을 생성하는 놀라운 속도와 효율성을 보였다.

그러나 복잡한 프로덕션 환경에서 발생할 수 있는 스케일링 및 버그 대응 문제 등 실제 운용 측면에서의 한계가 지적됐다.

AI 생성 코드는 초기 단계에서는 효율적이지만, 장기적인 유지보수 측면에서는 인간의 전문성이 필수적이라는 분석이다.

GPT-6 Astra는 브라우저 기반의 자바스크립트 환경에서 복잡한 기능을 구현한 점이 높이 평가되어 100점 만점에 85점을 받았다.

이러한 기능 구현에 단 49분만 소요되었으며, 이는 과거 2021-2022년 이전 기술 수준을 고려할 때 획기적인 발전으로 평가됐다.

GPT-6 Astra는 유튜브 채널 'CodeWithHarry' 운영을 위한 영상 편집 리소스 수집을 지시받았다.

비롤, 이미지, PNG, SVG 등 다양한 미디어 자산을 인터넷에서 다운로드하여 폴더에 정리하는 작업을 수행했다.

파일 이름의 검색 최적화(워시, 클릭 등)가 자동으로 이루어졌으며, Mixkit 등 외부 소스에서 적절한 영상 소스를 성공적으로 수집했다.

이러한 자동화 작업은 기존에 직접 수행하던 수작업을 대체하여 영상 편집 효율을 비약적으로 높였다.

AI가 수집한 자료는 검색 친화적인 이름으로 잘 정리되어 있었다.

코딩, 통계, 로고, 사운드 효과 등 다양한 소스가 확보되었으며, 데이터가 카테고리별로 적절히 그룹화되어 실사용 가능한 수준으로 평가됐다.

리소스 수집 작업은 시간 효율성 측면에서 인간이 할 수 없는 속도라 만족스러웠다는 평가를 받았다.

그러나 일부 주요 로고가 누락되는 등 데이터 구성의 품질이 떨어지는 문제가 발생했다.

불필요한 일러스트레이션이 다수 포함되는 등 결과물에 불필요한 요소들이 많아 100점 만점에 75점을 받았다.

수행 시간이 다소 느리다는 점이 핵심 요인으로 작용하며 인간의 시험과 비교한 5개 과제에서 64.2%의 성적을 거뒀다.

전반적으로 작업 수행 시간이 다소 느린 편이라는 점이 최종 평가의 핵심 요인으로 작용했다.