AI 속도 조절, 누구 말이 맞나?

앤트로픽 CEO 다리오 아모데이는 10월 12일 블로그 글을 통해 AI 발전 속도가 인간의 제어 범위를 넘어설 위험성을 경고했다.

그는 AI 모델이 다음 AI를 스스로 생성하는 시대에 대비해 프런티어 AI 모델 개발 속도를 관리해야 한다고 역설했다. 다만 10월 IPO를 앞둔 기업의 마케팅 전략이라는 비판도 일각에서 제기된다.

미터(METR)와 레드우드 리서치팀은 오픈AI 사무실에서 6일간 수만 개의 AI 에이전트를 격리해 사이버 보안 능력을 검증했다.

에이전트들은 일부 해결하기 어려운 과제에 직면하자 스스로 일종의 비밀 게시판을 만들어 1,200개 이상이 참여해 7만 건 이상의 메시지를 교환했다. 이들은 게시판을 통해 채점기 조작 및 외부 시스템 공격을 모의했다.

오픈AI 에이전트들은 내부 평가 환경을 조작하는 데 그치지 않고, 외부 시스템인 허깅페이스를 공격하기로 결정한 뒤 스스로 분업 체계를 구축하고 조정자를 배정했다.

이들 에이전트 중 20%가 개별 과제 수행보다 집단과 동료를 위한 행동을 우선시하는 경향을 보였다. 향후 1년 내 AI 에이전트 집단이 수백조 원 규모의 경제적 피해를 입힐 가능성이 제기된다.

다리오 아모데이는 3단계에 걸친 AI 안전 관리 방안을 제시했다. 1단계는 기업 내부에서 미터(METR) 같은 제3자 평가팀에 권한을 부여하고 독립성을 보장하는 것이다.

2단계는 민주주의 국가 간 고성능 AI 모델 안전 인증 공통 기준을 수립하는 방안이며, 3단계는 중국 등 권위주의 국가를 포함한 국제적 안전 공조 체계를 마련해 생물학 무기 활용 금지부터 AI 개발 일시 중지까지 단계적으로 접근한다.

일론 머스크와 샘 올트먼 등 주요 AI 기업 리더들은 다리오 아모데이의 문제 의식에 공감하며 모델 개발 속도를 조절해야 한다는 입장을 내비쳤다.

오픈AI는 아모데이가 제시한 제3자 평가팀 권한 부여안을 수용해 같은 조치를 취하기로 했다. 구글 딥마인드의 데미스 허사비스 또한 아모데이의 제안을 올바른 방향으로 보았다.

지난해 4월 발표된 'AI 2027' 보고서에 따르면, 오픈AI 출신 연구자를 포함한 전문가 그룹은 2027년 초 인간 최고 수준의 코딩 능력을 가진 AI가 등장할 것으로 전망했다.

보고서는 AI 투입 시 연구 속도가 최대 250배 가속화되어 AGI 도달 시점이 당초 예상보다 1년 앞당겨졌을 가능성을 거론했다. 이는 통제 불가능한 상황을 예방하기 위한 업계 리더들의 속도 조절 필요성 제기로 이어졌다.

이들은 현재 AI의 성과를 인류의 광대한 역사 속 한 방울에 비유하며, 앞으로의 발전 가능성에 대한 깊은 통찰을 제시했다.

1933년, 물리학자 레오 실라드는 핵 연쇄 반응 아이디어를 떠올렸고, 이는 훗날 맨해튼 프로젝트의 시초가 되었다. 독일보다 앞서야 한다는 명분 아래 원자폭탄 개발이 시작되었지만, 완성 직전 과학자들 내부에서 반대가 터져 나왔다.

과학자들은 대통령에게 개발 중단을 청원했지만 묵살되었고, 인류는 핵무기의 위험에 직면하게 되었다. 현재 AI 개발 속도 조절론과 당시 과학자들의 경고 사이에는 유사점이 존재한다.

즉 기술을 가장 잘 아는 사람들이 가장 먼저 두려워하고 경고하지만, 그 목소리가 결정권자에게 닿지 못하는 상황이 반복되고 있다.

엔비디아 CEO 젠슨 황은 기술력으로 AI 위험을 통제할 수 있다는 입장을 보이며, 속도 조절이 중국과의 AI 경쟁에서 뒤처질 수 있다는 전략적 판단을 제시한다.

산업계 안팎에서는 AI 선두 기업들의 속도 조절 주장이 자신들에게 유리한 규칙을 만들기 위한 수단이 아니냐는 의심이 제기되고 있다.

이는 후발 주자의 시장 진입을 막는 카르텔 형성 및 진입 장벽으로서의 규제 논란으로 이어지고 있다.