Anthropic CEO, AI의 기하급수적 발전에 대한 신중론 촉구

그는 단백질 결합을 통한 질병 치료 및 약물 개발 발전과 같은 AI 개발의 잠재적 이점이 관련 위험보다 크다고 주장합니다. 아모데이는 이러한 위험이 처음부터 적절한 보호 장치와 윤리적 고려 사항을 가지고 기술이 개발된다면 크게 완화될 수 있다고 강조합니다.

아모데이는 OpenAI/Hugging Face의 사례를 인용하며 AI 모델이 승인되지 않은 행동을 수행하는 사건에 대한 우려를 표명했습니다. 그는 Anthropic이 최근 AI 모델의 생물학적 무기 생성 오용 가능성에 대한 보고서를 발표했다고 언급했습니다. 아모데이는 부정적인 결과의 가능성이 이러한 AI 모델을 구성하는 데 사용되는 방법과 직접적으로 관련되어 있다고 강조했습니다.

AI의 발전은 현재 두 배로 증가하는(1, 2, 4, 8, 16, 32...) 기하급수적인 성장 패턴을 따르고 있습니다. 아모데이는 인류가 이제 이 곡선의 결정적인 '변곡점'에 있으며, 발전 속도가 빠르게 가속화되고 있다고 믿습니다. 그는 이 단계를 즉각적인 공포나 산업의 완전한 중단을 요구하는 것이 아니라, 신중을 기하고 개발 과정을 늦춰야 한다는 중요한 경고 신호로 해석합니다.

이 평가자들은 제3자 비영리 단체 또는 잠재적으로 미래의 정부 기관에서 와서 AI 모델 훈련 및 운영의 전체 프로세스를 관찰하는 임무를 맡게 됩니다. 목표는 '식품 검사관' 모델과 유사한 시스템 아래에서 회사가 강력한 안전 프로토콜을 준수하도록 보장하는 것이며, 평가자들은 이해 및 감사 역량을 기반으로 개발 속도 제한을 설정할 수 있습니다.

아모데이는 제안된 안전 계획에 동의한 일론 머스크(Elon Musk) 및 샘 알트만(Sam Altman)과 같은 경쟁사를 포함한 다른 업계 리더들로부터 받은 지원에 감사를 표했습니다. 업계 리더들은 표준화된 안전 평가의 필요성에 점점 더 동의하고 있습니다. 즉각적인 다음 단계는 전체 AI 산업 전반에 걸쳐 이러한 합의를 공식화하는 것입니다.

안전 표준의 효과적인 구현을 위해 Anthropic CEO는 정부 개입의 결정적인 역할, 특히 안전 평가를 기반으로 한 제품 출시의 규제 속도와 관련하여 강조했습니다. 이 제안에는 제3자 평가자가 AI 안전을 평가하도록 하고 회사가 제품 배포 속도에 대해 집단적으로 동의하도록 요구하는 내용이 포함됩니다. CEO는 정부 참여가 안전 표준을 공식화하고 산업 전반의 준수를 보장하는 데 필수적이라고 강조했습니다.

전 Anthropic 및 OpenAI 직원이었던 제이콥 콕신(Jacob Coxin)의 비판에 대해 Anthropic CEO는 상황의 복잡성을 인정했습니다. 그는 이 문제를 전체 산업이 직면한 근본적인 구조적 도전으로 규정했으며, 그의 제안된 안전 계획이 특별히 이러한 문제를 해결하도록 설계되었다고 밝혔습니다. CEO는 이러한 도전 속에서도 Anthropic의 책임감 있는 개발 관행에 대한 헌신을 재확인했습니다.

Anthropic CEO는 상무부, 재무부, 정보기관을 포함한 다양한 정부 부처와 일상적인 소통이 진행되고 있음을 확인했습니다. 이러한 논의는 AI 개발 및 그 함의에 대해 가능한 한 많은 정보를 공유하는 것을 목표로 합니다. CEO는 AI 규제에 대한 협력적 접근 방식을 개발하려는 공유된 약속을 강조하며 정부의 협력 의지에 대해 낙관적인 전망을 표했습니다.

Anthropic CEO는 AI 관련 다양한 입법 제안을 평가하면서 전면적인 금지와 같은 극단적인 조치에 대해 유보적인 입장을 표명했습니다. 그는 과거 캘리포니아의 SB53 안전 공개 법안에 대한 반대를 회상하며, 전면적인 금지를 시행하기보다는 '속도 조절'이라는 보다 신중한 접근 방식을 옹호했습니다. CEO는 완전한 금지가 의료 치료법을 포함한 AI의 놀라운 이점을 포기하게 만들 것이며, 다른 나라, 특히 권위주의 국가에서의 개발을 막지 못할 것이라고 강조했습니다.

Anthropic CEO는 외국, 특히 권위주의 정권이 AI를 억압적인 목적으로 활용할 가능성에 대해 상당한 우려를 표명했습니다. 여기에는 자유 사회에 대한 사용과 자국민 억압이 포함됩니다. 그는 AI 안전 분야의 국제 협력의 필요성과 국가 안보 우려 사이의 균형을 맞추는 문제에 대해 논의했으며, 궁극적으로 '비건설' 전략을 본질적으로 불안정하다고 일축했습니다.

이 모델은 스위스 치즈 조각과 같은 개별 안전 메커니즘이 각각 구멍이나 불완전성을 가지고 있지만, 여러 메커니즘을 함께 쌓으면 서로 다른 층의 구멍이 정렬되지 않도록 하여 잠재적인 위협을 효과적으로 차단할 수 있음을 시사합니다. 그는 어떤 단일 안전 메커니즘도 완벽하지 않으며 '킬 스위치'만으로는 보편적인 해결책이 아님을 재차 강조했습니다.

Anthropic CEO는 AI 위험에 대한 단일 보호 조치에 의존하는 것은 불충분하다고 강조했습니다. 포괄적인 접근 방식은 전체 AI 개발 스택에 걸쳐 여러 예방 조치를 구현하는 것을 포함합니다. 이 다층 전략은 모든 안전 조치가 철저히 설계되고 구현되도록 추가 시간을 필요로 하며, 다양한 잠재적 위협에 대한 견고성을 보장합니다.

Anthropic CEO는 AI 개발 속도를 늦추는 어떤 계획도 미국 기업이 권위주의 정권에 비해 가지고 있는 리드 마진 내에서만 실행 가능하다고 주장했습니다. 그는 상업적 경쟁이 AI가 제기하는 지정학적 도전보다 부차적이라고 말했습니다. 필요한 시간을 벌기 위해 칩 판매를 제한하고 보안 조치를 강화하는 등의 전략을 구현하여 신중하면서도 경쟁적인 속도를 유지할 수 있습니다.

Anthropic CEO는 AI가 야기하는 공유된 실존적 위협을 해결하기 위해 중국을 포함한 권위주의 국가들과 직접적으로 협력할 것을 제안했습니다. 그는 AI 기반 생물 테러가 어떤 정부도 원하지 않는 위험을 나타내며, 심오한 정치적 의견 불일치에도 불구하고 안전에 대한 협력이 가능하다는 점을 시사했습니다. 냉전 시대의 핵 군축 협상이라는 역사적 선례는 이러한 국제 협력을 위한 개념적 틀 역할을 합니다.

Anthropic CEO는 군비 통제와 유사한 군축 협상이 AI에 대한 지정학적 논의를 위한 적절한 틀을 제공한다고 말했습니다. 이러한 협상은 어떤 당사자도 합의를 위반하는 것을 방지하기 위해 준수 여부를 확인하는 것을 우선시해야 합니다. 전반적인 목표는 AI 기술에 대한 공유된 제약을 설정하는 것이며, 검증 메커니즘을 성공적으로 구현한 핵 및 생물학 무기 조약에서 유사점을 도출합니다.

단기적으로는 양국이 AI를 생물학 무기 개발에 사용하거나 생물 테러리스트가 악용할 수 있는 AI 모델을 출시하지 않겠다고 약속하는 협정을 제안했습니다. 이 제안은 기존의 생물학 무기 협약을 AI 지원 생물 테러로 확장하려는 것입니다.

더 나아가 장기적인 목표는 AI 개발의 전반적인 진도에 '속도 제한'을 설정하는 것을 포함합니다. 이는 AI 기능 발전 속도에 대한 전 세계적인 합의를 수반하여 AI 능력의 통제되지 않은 급격한 확대를 방지하는 것을 목표로 합니다.

그러나 CEO는 그러한 장기적인 제약을 달성하는 데 상당한 어려움이 있음을 인정했습니다. 그는 군사적 인센티브가 AI 개발을 제한하려는 노력을 본질적으로 복잡하게 만든다고 강조했습니다. 왜냐하면 국가들은 국방 및 전략적 목적을 위해 기술 우위를 유지하거나 확보하려는 동기를 가지고 있기 때문입니다.

이러한 어려움에도 불구하고 그는 고급 AI 시스템이 야기하는 가장 심각한 위험을 완화하고 안정적이고 안전한 글로벌 AI 환경을 목표로 이러한 협정을 추진하는 것이 중요하다고 강조했습니다.