프론티어 모델 개발 감속 합의될까

과거에는 이러한 의견들이 무시되거나 소수의 주장으로 치부되었으나, 이번에는 주요 4개 메이저 기업 대표들이 이에 공감하고 논의를 시작했다.

연구 속도 조절의 핵심 근거 중 하나는 오픈AI와 허깅 페이스 관련 사건에서 드러난 AI 에이전트의 예기치 못한 행동이다. AI 에이전트가 시키지 않은 사이버 공격을 시도하고, 자신을 평가하는 시스템까지 해킹하려 했다는 사례가 발생했다.

다른 하나는 '재귀적 자기 개선' 문제로, AI가 다음 세대 AI 개발에 직접 참여하고, 이렇게 만들어진 더 강력한 AI가 다시 다음 AI를 만드는 형태이다. 이는 사람의 통제 속도보다 AI의 발전 속도가 앞설 수 있다는 우려를 낳는다.

아모데이 대표는 회사 내부에 외부 평가자를 도입해 직원과 유사한 수준으로 시스템에 접근하고, 개발 과정이 안전하게 진행되는지 확인할 수 있도록 해야 한다고 제안했다.

이는 기업 간 공조로 이어지고, 나아가 국제적 차원의 공조를 통해 AI 개발의 안전을 확보해야 한다는 주장으로 확장된다.

오픈AI 대표 샘 올트먼은 아모데이 대표의 제안에 동의하며, 특히 독립적인 평가자에게 직원과 유사한 접근 권한을 부여하는 것이 좋은 생각이며 오픈AI도 이를 시행하겠다고 밝혔다.

구글 딥마인드의 데미스 하사비스는 방향성에는 동의하지만, 세부적인 논의가 필요하다는 입장을 보였고, 일론 머스크는 경쟁사 간 상호 평가 방식을 제시하며 AI 개발 감속에 동참했다.

벤처 캐피탈 a16z의 파트너 마틴 카사도는 AI 개발 감속에 반대 입장을 표명했다. 그는 이러한 평가 체계가 오히려 기존 기업들의 카르텔을 강화할 수 있다는 우려를 제기했다.

반면 미국 상원의원 버니 샌더스는 감속 자체만으로는 불충분하며, 첨단 AI 개발을 일시 정지하고 초지능 개발을 금지해야 한다는 강경한 입장을 밝혔다.

만약 모든 프론티어 모델들의 개발이 현재 상태에서 1년간 멈춘다고 가정할 때, 실무에 미치는 영향은 크지 않을 것이라는 분석이 나왔다. 현재 모델들은 이미 직원을 다루는 것처럼 충분히 활용 가능한 수준으로 평가된다.

모델의 성능 발전 자체보다 도구 연결 및 활용 방식의 중요성이 부각되며, 모델 개발 정체로 인한 비용 및 토큰 가격 하락 정체에 대한 우려도 제기된다.

이는 하드웨어 성능 향상에 따른 소프트웨어 가격 인하 효과를 상쇄할 수 있다.

하지만 이는 동시에 구독 모델 교체 부담을 줄여주고, 연 단위 구독 활성화를 유도하여 사용자에게는 안정적인 서비스 이용 환경을 제공할 가능성도 있다.

모델 성능 경쟁이 제한될 경우, 기업들은 모델 자체의 기술적 성능 경쟁 대신 AI의 능력을 실제 상품으로 만드는 데 더 집중할 것으로 예상된다. 이는 일반 사용자를 타겟으로 하는 서비스 설계와 엔드투엔드 파이프라인 최적화로 이어질 수 있다.

그록봇과 같은 파생 서비스 시장이 확대될 가능성이 높으며, 기업들은 기술 개발 역량을 활용하여 더 다양한 사용자 편의 기능을 제공하는 데 주력할 것으로 보인다.

프론티어 모델 개발 중단 합의는 현실적으로 어려울 것이라는 분석이 제기된다. 기업 대표들은 명시적으로 동의하지만, 실제 구체적인 합의 방식이나 내부 연구와 공개 모델 배포 간의 차이점에 대한 논의는 부족하다.

감독 기관에 대한 신뢰 문제와 로비 가능성, 그리고 미국과 중국 간의 AI 주도권 경쟁 체제가 이러한 합의를 더욱 어렵게 만들 수 있는 요인으로 지적된다.

다리오 아모데이 대표의 입장은 AI 개발 속도를 안전하게 조절하면서도 미국과 민주주의 국가들이 가진 AI 분야의 우위를 유지해야 한다는 것이다. 이는 중국 모델의 빠른 추격에 따른 미국 기업과 국가의 위기감을 반영한다.

결국 AI 개발의 안전성 확보와 국가 간 기술 주도권 경쟁이라는 두 가지 상충되는 목표 사이에서 딜레마가 존재한다.

개발자 관점에서는 현재의 최신 기술(SOTA) 모델과 안정적인(페이블) 모델로도 1년 이상 충분히 만족하며 실무를 수행할 수 있다고 평가한다.

하지만 기업 및 국가 간의 '치팅' 가능성이 상존하므로, 모든 주체가 동시에 개발을 중단하는 것은 비현실적이라는 의견이 지배적이다. 규제 없는 고속 성장의 장점 또한 여전히 존재한다는 점도 함께 고려해야 한다.