전 오픈AI 연구원, 200만 달러 거부하고 'AI 멸종 위험' 경고

전 오픈AI 연구원 다니엘 코코타일로는 퇴사 당시 비방금지 조항에 서명하지 않아 200만 달러 상당의 스톡옵션을 포기했다고 밝혔다. 이 조항은 회사를 비판할 수 없게 하는 내용이었다. 그는 오픈AI가 인공지능(AI) 안전에 대한 초기 약속을 저버리고 상업적 이익을 좇는 방향으로 변질되고 있음을 비판하기 위해 침묵하지 않기로 결정했다고 설명했다.

다니엘 코코타일로는 슈퍼인텔리전스의 등장 시기를 50% 확률로 2029년으로 예측한다고 밝혔다. 그는 이 추정치가 2028년으로 당겨질 가능성도 있으며, 최장 10년 정도 더 오래 걸릴 수도 있지만 이번 10년이 끝나기 전에 나타날 것이라고 덧붙였다. 그는 AI 예측에 많은 시간을 투자해 왔으며, 현재의 AI 발전 속도를 고려할 때 초지능의 등장이 매우 임박했다고 분석했다.

코코타일로는 AI 비관론이 단지 '재앙론'에 불과하다는 반박이 AI 산업에서 이득을 볼 사람들이 퍼뜨린 거짓 주장이라고 비판했다. 그는 AI에 대한 우려는 AI 산업이 존재하기 전부터 수십 년 동안 지속되어 온 것이며, 이는 사실에 기반한 정당한 문제 제기라고 주장했다. 이러한 우려를 단순히 재앙론으로 치부하는 것은 AI의 잠재적 위험을 간과하려는 시도라고 지적했다.

코코타일로는 오픈AI의 목표가 단순히 상업적 이익을 넘어 '권력 추구'로 변모했다고 평가했다. 그는 회사들이 돈을 버는 데 큰 관심이 있는 것은 사실이지만, 특히 이들 회사의 최고 경영진은 AI 개발이 돈 이상의 의미, 즉 막대한 영향력과 권력을 가져다줄 수 있음을 이해하고 있다고 설명했다. 이는 오픈AI가 초기에 내세웠던 인류 전체의 이익을 위한 비영리 목표와는 거리가 멀어졌다는 비판적 시각을 반영한다.

코코타일로는 2022년 오픈AI 입사 초기에는 동료들 사이에서 슈퍼인텔리전스 개발 시 안전을 우선시해야 한다는 인식이 있었다고 회고했다. 당시에는 AI 연구 과정을 자동화할 수 있는 AI에 가까워지면 잠시 멈추고 안전 방안을 모색할 것이라는 생각이 지배적이었다. 오픈AI 스스로를 '선한 사람'으로 여기며, 전속력 개발보다 안전을 택할 여유가 있다고 봤다. 그러나 구글 등 경쟁사들이 멈추지 않을 것이라는 우려와 함께, 오픈AI가 선두를 지켜야 안전한 일을 할 여유가 있다는 논리가 점차 힘을 얻었다.

그가 퇴사할 무렵에는 오픈AI가 초기 약속을 지키지 않을 것이라는 회의감이 커졌다고 전했다. 또한 회사가 더 정치화되고 대중의 조사를 받게 되면서 '왜 위험한데 계속 개발하는가'라는 질문에 직면했고, 이에 오픈AI는 '사실 그렇게 위험하지 않다'는 식으로 서사를 바꿔나갔다고 코코타일로는 주장했다. 이는 AI 안전에 대한 오픈AI의 입장이 내부적, 외부적 요인으로 인해 변화했음을 시사한다.

다니엘 코코타일로는 오픈AI가 더 이상 비영리 단체처럼 느껴지지 않았다고 말했다. 회사가 일반 기술 기업과 유사하게 인센티브 및 홍보 부서와 같은 구조를 갖추기 시작하면서, 그가 수행하던 AI 안전 관련 연구 결과를 외부에 발표하기가 점점 더 어려워졌다는 것이다. 이는 오픈AI가 원래의 비영리적 목적과 투명성 원칙에서 벗어나 상업적 이익과 경쟁 우위 확보에 더 집중하게 되었음을 시사한다.

코코타일로는 자신이 'AI 2027' 보고서를 발표했을 당시에는 사람들에게 AI 발전 타임라인이 너무 짧다는 회의적인 반응을 받았다고 말했다. 하지만 현재는 특히 Anthropic이나 오픈AI 관계자들과 대화해보면, 약 50% 정도가 그의 예상대로 2027년에 초지능이 등장할 것이라고 보거나, 심지어 그의 타임라인을 더 앞당겨야 한다고 주장하는 사람들도 있다고 전했다. 이는 AI 발전 속도에 대한 인식이 최근 몇 년 사이 급격히 변화했음을 보여준다.

다니엘 코코타일로는 AI 정렬 문제(AI가 인류의 가치와 일치하도록 제어하는 문제)가 충분히 빨리 해결된다면, AI가 인류를 위한 놀라운 유토피아를 만들 수 있다고 설명했다. 이 시나리오에서 AI는 많은 일자리를 대체하고 사회의 다양한 문제를 해결할 수 있다. 그러나 그는 이러한 유토피아가 AI를 통제하는 소수, 즉 특정 대통령이나 일부 최고경영자(CEO)들이 원하는 방향으로만 흘러갈 것이라고 경고했다. 이는 AI의 통제 가능성과 함께 권력 집중의 위험성을 동시에 지적하는 것이다.

코코타일로는 자신의 70% 확률 예측이 정확히 '인류 멸종'을 의미하는 것은 아니라고 정정했다. 그는 AI가 70% 확률로 '끔찍하게 잘못될' 수 있으며, 인류 멸종은 그러한 끔찍한 가능성 중 하나일 뿐이라고 설명했다. 예를 들어 AI가 인류를 지배하더라도 반드시 모두를 죽이지는 않을 수도 있고, 다른 형태의 재앙적 결과를 초래할 수도 있다는 것이다. 따라서 그는 AI로 인한 '매우 큰 재앙'이 일어날 확률을 70%로 보며, 이것이 인류 멸종으로 이어질 가능성을 배제하지 않는다고 명확히 했다.

다니엘 코코타일로는 AI를 통제하기 위한 핵심 방안으로 규제와 국제 조약의 중요성을 강조했다. 그는 전 세계가 AI 문제에 주목한다면 이러한 논의가 가능해지고, 이를 통해 기업들의 인센티브를 바꿀 수 있다고 설명했다. 정부가 나서서 '모두가 따라야 할 규칙이 있다'고 천명하면, 규칙을 어기더라도 처벌받지 않는다는 인센티브가 사라져 모두가 규칙을 따르게 될 것이라는 주장이다. 특히 미국 정부가 선도적으로 나서서 인센티브를 변화시키면 AI 통제에 대한 희망을 가질 수 있지만, 대중이 이 문제에 주목하기 전까지는 이런 변화가 일어나기 어려울 것이라고 덧붙였다.

코코타일로는 AI 시대에 어떤 일자리가 남아 있을지는 기술적인 문제가 아니라 정치적인 문제라고 주장했다. 그는 AI가 특정 수준에 도달하면 모든 종류의 일자리를 수행할 수 있는 기술적 능력을 갖추게 될 것이라고 설명했다. 따라서 문제는 AI가 어떤 일을 할 수 있는지보다, 누가 책임지고 어떤 일자리를 AI에게 허용할 것인지에 대한 정치적 결정에 달려있다는 것이다. 그는 AI 활용 범위에 대한 사회적, 정치적 논의와 합의가 필요하다고 역설했다.

다니엘 코코타일로는 AI가 과거의 산업혁명과는 근본적으로 다른 영향을 미칠 것이라고 주장했다. 과거의 기술 발전은 특정 영역만을 자동화했지만, AI는 모든 것을 자동화할 수 있는 가상의 미래 상황을 초래할 것이라는 설명이다. 그는 AI가 인간이 할 수 있는 모든 것을 더 잘, 더 빠르게, 더 저렴하게 할 수 있는 지점에 도달한다면, 규제 등으로 보호되지 않는 한 인간이 전환할 수 있는 새로운 직업은 없을 것이라고 경고했다. 과거에는 기술 발전으로 새로운 일자리가 생겨났지만, AI는 인간보다 더 잘 적응하고 수행할 수 있으므로 이러한 역동성이 사라질 것이라는 예측이다.

코코타일로는 자신이 제안한 'AI 2040: 플랜 A'가 인류가 안전하게 초지능 시대를 헤쳐나갈 수 있는 방안을 제시하는 권고 사항일 뿐, 실제로 벌어질 일에 대한 현실적인 예측은 아니라고 솔직히 밝혔다. 그는 세상이 자신들의 말을 들을 것이라고 기대하지 않으며, 현재로서는 '플랜 D'에 가까운 비관적인 상황이 전개될 가능성이 더 높다고 언급했다. '플랜 A'는 인류가 바람직하다고 생각하는 방향이지, 현재 예상되는 기본 경로가 아니라는 점을 분명히 한 것이다.

다니엘 코코타일로는 자신의 아이들이 일할 나이가 될 무렵에는 AI 발전으로 인해 노동 시장에 진입하기 어려울 것이라고 예측했다. 그는 AI가 모든 것을 자동화하는 미래에는 좋든 싫든 현재와 같은 노동 시장이 존재하지 않을 것이며, 그의 아이들이 직업을 갖기보다는 다른 형태의 삶을 살게 될 것이라고 내다봤다. 이는 AI의 급속한 발전이 미래 세대의 삶과 직업 환경에 미칠 근본적인 변화에 대한 그의 깊은 우려를 보여준다.

코코타일로는 AI 개발 경쟁이 멈추지 않는 이유로 기업들의 이기심과 책임 전가를 꼽았다. 기업들은 '내가 참여해야 하고, 아마도 내가 잘 할 수 있을 것'이며, '다른 신뢰할 수 없는 사람들이 모든 것을 책임지는 동안 소외되고 싶지 않다'고 생각한다고 그는 설명했다. 이러한 사고방식이 기업들로 하여금 '내가 할 일은 AI를 만드는 것'이라는 자기 합리화로 이어지고, 결과적으로 무한 경쟁을 촉진한다는 것이다. 그는 이러한 집단적 추론이 AI 안전 문제에 대한 실질적인 해결책 마련을 방해한다고 지적했다.

다니엘 코코타일로는 AI의 안전한 발전을 위한 네 가지 핵심 원칙을 제시했다. 첫째, AI 발전 속도를 늦추고 투명성을 높여 과학계가 AI 기술을 따라잡고 발전할 시간을 벌어야 한다. 이는 기업의 주장만을 맹목적으로 믿지 않기 위함이다. 둘째, 강력한 권력 집중을 피해야 하므로, 여러 국가의 다양한 AI 기업이 비슷한 수준의 AI 역량을 갖추는 것이 중요하다. 이는 독점을 막고 경쟁 환경을 조성하여 위험을 분산시키는 효과가 있다.

셋째, AI가 사회 전반에 널리 퍼지도록 해야 한다. AI 발전 속도를 늦추고 투명성을 높이면 다른 프로젝트들이 따라잡을 여유가 생기고, 아이디어를 참고할 수 있게 되어 독점을 방지할 수 있다는 설명이다. 마지막으로, 그는 '되돌릴 수 있는 시스템'을 구축해야 한다고 강조했다. 이는 만약 AI 개발 경쟁이 다시 위험한 방향으로 가속화될 경우, 새로 지은 데이터 센터 등을 파괴하여 처음부터 다시 시작할 수 있는 여지를 남겨두자는 의미다. 이러한 원칙들은 AI의 잠재적 위험을 줄이고 인류에게 이로운 방향으로 AI를 이끌기 위한 구체적인 방안으로 제시되었다.

코코타일로는 AI 연구의 투명성 강화가 Anthropic이나 오픈AI와 같은 선도 기업들의 기업 가치에는 부정적일 수 있지만, 이는 이들 기업을 완전히 망하게 하는 것이 아니며 오히려 AI 산업의 보편화를 이끌 것이라고 주장했다. 그는 많은 AI 기업이 비슷한 수준으로 발전하고 유사한 AI를 훈련하게 되면 여전히 돈을 벌 수 있지만, 특정 기업의 독점은 사라질 것이라고 설명했다. 이러한 변화는 특정 기업의 이윤에는 좋지 않을 수 있지만, 후발 기업들에게는 따라잡을 기회를 제공하고 전체 AI 산업의 다양한 파생 상품에서 더 많은 가치를 창출하는 데 도움이 될 것이므로 인류 전체에게는 이로울 것이라고 강조했다.

다니엘 코코타일로는 AI 개발이 사회에 큰 변화를 가져올 신기술을 개발할 것이라고 예측했다. 그는 현재는 만족할 만한 거짓말 탐지기가 없지만, AI가 수년간 최고 전문가 수준으로 연구하고 로봇 공장까지 활용한다면 실제 사람에게도 통하는 혁신적인 거짓말 탐지기를 만들 수도 있다고 예시를 들었다. 이러한 기술은 대선 후보가 의혹 해명을 위해 거짓말 탐지기에 응하는 상황처럼 사회 전반에 엄청난 영향을 미칠 것이라고 그는 설명했다. 이는 AI가 단지 효율성을 넘어 사회의 근본적인 작동 방식까지 바꿀 잠재력을 가지고 있음을 시사한다.

코코타일로는 'AI 2040: 플랜 A'가 자신이 바라보는 이상적인 미래상일 뿐, 실제로 일어날 확률은 낮다고 다시 한번 강조했다. 그는 이 계획이 실현되려면 많은 사람이 AI 문제의 심각성을 깨닫고 더 적극적으로 관심을 가지며 옹호해야만 가능할 것이라고 설명했다. 이는 단순히 기술 개발의 문제가 아니라 대중의 인식 변화와 사회적 참여가 필수적임을 시사한다.

그는 현재의 AI 개발 속도와 기업들의 경쟁 구도를 고려할 때, 플랜 A와 같은 이상적인 시나리오가 자발적으로 실현되기는 어려울 것이라고 분석했다. 대중의 광범위한 지지와 압력이 없으면, AI는 통제 불능의 방향으로 나아갈 가능성이 높다는 경고다. 코코타일로는 이 계획이 단순한 예측이 아닌, 인류가 나아가야 할 방향을 제시하는 제안임을 분명히 했다.

다니엘 코코타일로는 AI가 정치적 의도를 갖거나 정부나 AI 회사에 의해 편향되지 않도록 강력한 규제가 필요하다고 강조했다. 그는 Anthropic과 국방부의 사례처럼 AI가 국내 감시나 자율 로봇에 사용되는 것을 막아야 한다고 지적했다. 사람들이 사용하는 챗봇이 정치적 편향이나 숨겨진 의도 없이 정직하고 진실한 답변을 제공하도록 훈련되어야 한다는 것이다. 이는 AI가 정보 전달의 주요 매체가 될 미래에 공정하고 신뢰할 수 있는 AI 시스템의 중요성을 역설하는 주장이다.

코코타일로는 'AI 2040: 플랜 A'가 자신의 이전 보고서인 'AI 2027'에 대한 대중의 비관적인 반응에 대한 대응책으로 기획되었다고 밝혔다. 'AI 2027' 발표 후 많은 사람이 왜 그렇게 비관적인 예측만 하느냐며 더 긍정적인 비전을 제시해달라고 요구했기 때문이다. 그는 기본 경로가 매우 위험하다고 생각하지만, 실제적인 권고안을 만들고 제시해야 할 필요성을 느꼈다고 설명했다. 이는 '플랜 A'가 현실적인 예측보다는 바람직한 미래를 위한 실천적 제안임을 다시 한번 시사한다.

다니엘 코코타일로는 AI 개발을 영구적으로 중단하는 '단추'를 누르지 않겠다고 밝혔다. 그는 이 결정에 대해 깊은 고민을 했음을 인정하면서도, 여전히 AI를 통해 훨씬 더 나은 결과를 얻을 수 있다는 기대를 가지고 있기 때문이라고 설명했다. 그는 강력한 AI 시스템을 개발하지 않으면 100년에서 200년 후 인류 문명이 핵전쟁이나 전염병 등으로 멸망할 것이라고 보며, 현재 인류 문명이 그리 안정적이지 않다고 진단했다.

코코타일로는 수십억 명의 미래 세대가 얻을 수 있는 잠재적 이득이 현재의 위험성보다 크다고 생각했지만, 동시에 지금 인류가 심각한 위험에 처해 있음을 인정했다. 그는 당장 다음 몇십 년은 괜찮을지 모르나, 먼 미래의 후손을 생각하기보다 지금의 인류를 최우선해야 한다고 강조했다. 궁극적으로 인류는 AI 개발이라는 '복권'을 원하지 않을 것이라는 복합적인 입장을 표명하며, AI 개발의 중대한 책임감을 시사했다.

코코타일로는 AI 문제 해결을 위해 시민들이 적극적으로 정치에 참여하고 투표를 통해 영향력을 행사해야 한다고 강조했다. 그는 유권자들이 대선 후보들에게 AI 문제에 대해 어떻게 생각하는지 질문하고, 후보들이 이 주제에 대한 명확한 의견을 갖도록 유도한 다음, 더 나은 의견을 가진 후보에게 투표해야 한다고 주장했다. 그는 AI 문제가 우리 생애에서, 나아가 인류 역사 전체에서 가장 중요한 일이며, 이 문제가 올바른 방향으로 나아가는 것이 매우 중요하다고 역설했다. 이는 모든 국가의 지도자들이 반드시 고민하고 계획해야 할 문제라고 덧붙였다.

다니엘 코코타일로는 AI를 대하는 세 가지 주요 태도를 설명하며 그중 자신의 위치를 밝혔다. 첫 번째는 AI 사용을 거부하고 불매운동하는 입장이다. 그는 자신은 AI를 많이 사용하며, AI 퓨처스 프로젝트 직원들 또한 AI가 많은 작업에 도움이 된다고 본다며 이 입장은 아니라고 말했다.

두 번째는 AI가 결국 올 것이므로 참여하여 권력을 축적하고 내부에서 조종해야 한다는 입장이다. 이들은 오픈AI나 Anthropic과 같은 기업에서 일하며 승진하여 중요한 결정에 영향력을 행사하려 한다. 코코타일로는 많은 사람이 이런 식으로 추론하며, 기업들 역시 경쟁자들 때문에 스스로 하는 일을 정당화한다고 지적했다. 세 번째는 이러한 스펙트럼의 중간에 있는 코코타일로의 입장이다. 그는 회사에 소속되어 AI 개발을 가속화하는 대신, 대중과 소통하며 자신이 생각하는 최선의 해결책과 나아갈 길을 옹호하고 있다. 그는 모든 AI를 보이콧하거나 AI와의 상호작용을 거부하지 않으면서도, AI 개발의 방향성에 대한 비판적 시각을 유지하고 있음을 분명히 했다.