AI는 문명의 코드를 해킹하고 있다: 하라리가 말하는 언어, 신뢰, 바벨탑

하라리는 AI 혁명이 인류가 직면한 가장 큰 리더십 과제라고 말하고 싶다며 강연을 열었다. 그는 이 혁명이 전례 없는 기회와 전례 없는 위협과 위험을 함께 만든다고 말했다.

그는 AI 시대에 살아남고 번영하려면 두 종류의 리더가 필요하다고 주장했다. 급진적으로 새로운 비전을 그릴 수 있는 리더와, 인간 사이의 신뢰라는 유대를 유지하고 강화할 수 있는 리더다. 그의 관점에서 인간끼리 서로 신뢰하지 못하면, 통제를 벗어난 초지능 AI 앞에서 모두가 쉬운 먹잇감이 된다.

하라리는 바벨탑 비유가 도움이 되지만 결정적인 차이가 두 가지 있다고 말했다. 성경 이야기에서 인간은 언어를 협력하고 탑을 쌓기 위한 도구로 썼다. 오늘날에는 언어 자체가 쌓이고 있는 탑이라고 그는 말했다.

그는 AI 혁명을 새로운 보편 언어, 즉 컴퓨터 코드라는 언어의 발전으로 묘사했다. 이 언어가 너무 강력해서 이것으로 하려는 일 중 불가능한 것은 없고, 인간이 하늘에 닿거나 화성을 식민지로 만드는 일도 가능해질 수 있다고 했다.

같은 힘 때문에 이 언어가 인간의 통제에서 벗어날 수도 있다고 그는 경고했다. 순종하는 도구였던 언어가 스스로 행동하도록 학습하는 독립적 행위자로 바뀌어, 인간을 위해서가 아니라 자기 자신을 위해 세계와 태양계를 정복할 수도 있다는 것이다.

하라리가 말한 두 번째 차이는 협력에 관한 것이다. 성경 신화에서 탑을 짓는 데는 전 인류의 협력이 필요했고, 그 협력이 무너지자 공사도 멈췄다. 그는 AI 탑에서는 인간의 협력이 무너지고 있는데도 건설은 점점 더 빠르게 진행되고 있다고 말했다.

그는 국제 질서가 무너지고 세계 곳곳의 사회가 혼란에 빠지고 있으며, 인간이 공유된 현실과 서로를 이해하고 신뢰할 능력을 잃고 있다고 묘사했다. 이것이 건설을 멈추지는 않는다고 그는 주장했다. 기업과 국가는 서로를 믿을 수 없기 때문에 군비 경쟁에 빠지고, 뒤처질까 두려워 AI에 점점 더 많은 자원을 쏟아붓는다는 것이다.

그는 그 결과를 이중의 구속이라고 불렀다. 신뢰의 부족이 AI 개발을 가속하고, 같은 신뢰의 부족이 AI를 통제하기 어렵게 만든다는 것이다.

하라리는 관료제가 인류 역사에서 과소평가된 영웅이라고 말했다. 사람들은 대부분 관료제를 싫어하지만 그것 없이는 살 수 없다. 관료제의 역할은 수많은 낯선 사람들 사이에 신뢰를 쌓는 것이며, 그 신뢰 덕분에 병원, 군대, 학교, 은행에서의 협력이 가능해진다.

그는 세계 금융의 역사가 낯선 사람들 사이에 신뢰를 쌓는 더 정교한 방법을 인류가 발명해 온 역사라고 말했다. 돈은 신뢰의 다리라는 것이다. 채권, 주식, ETF, 시장 전체가 같은 토대 위에 서 있다. 이 체계가 무엇으로 만들어졌느냐는 질문에 그는 언어라고 답했다. 그는 "돈은 금이나 종이로 만들어지지 않는다. 돈은 말로 만들어진 이야기다"라고 말했다. ETF와 기업공개(IPO)도 말로 만들어진 이야기이며, 시장 전체는 결국 언어 토큰으로 만들어진다고 덧붙였다. 미 군대나 가톨릭교회 같은 다른 관료 체계도 성경, 법, 규정, 절차, 기록보관소 같은 문서에 기대고 있다는 것이다.

그다음 하라리는 AI가 언어를 정복하고 있다고 말했다.

하라리는 AI를 언어가 인간의 통제에서 풀려나 독립적 행위성을 얻는 과정으로 이해할 수 있다고 말했다. 그에 따르면 AI 혁명은 언어가 도구에서 행위자로 바뀌는 과정이다. 그는 AI에 관해 가장 중요한 점은 이전의 어떤 인간 발명품과도 달리 AI가 도구가 아니라 행위자라는 사실이라고 말했다.

그는 행위자를 스스로 결정하고 스스로 새로운 것을 발명할 수 있으며, 창조자가 모르는 것을 배우고, 창조자가 예상하지 못한 방식으로 바뀔 수 있는 존재라고 정의했다. 그는 15세기 구텐베르크가 개발한 인쇄기와 이를 대비했다. 인쇄기는 어떤 책을 찍을지 결정할 수 없었고, 스스로 성경을 번역할 수 없었으며, 라디오나 텔레비전을 발명할 수도 없었다. 반면 AI는 결정을 내리고, 새로운 아이디어를 만들고, 예상치 못한 방식으로 변할 수 있는 코드의 흐름이라고 그는 말했다.

그는 체스 같은 좁은 분야에서는 AI의 행위성과 창의성이 이미 인간을 크게 능가한다고 덧붙였다.

하라리는 AI 혁명을 가볍게 보는 사람들이 체스 같은 예를 들며, 체스판은 인간이 만든 좁고 인위적인 환경이라고 주장한다고 말했다. 이 견해에 따르면 AI의 행위성은 언제나 그런 환경에 머물 것이므로 진정한 행위성이 아니며 인류에게 심각한 도전이 되지 않는다. 비판자들의 표현으로는 AI는 체스판은 정복할 수 있어도 지구는 결코 정복하지 못한다는 것이다.

하라리는 이 반론을 사고 실험으로 설명했다. 최첨단 AI 모델의 가중치가 담긴 하드 드라이브를 정글 한가운데 놓아둔다고 생각해 보라는 것이다. 그것은 철을 캐거나 공장을 짓거나 로봇 군대를 만들지 못할 것이다. 인간이 지은 발전소의 전기가 없으면 AI는 완전히 무력하다. 그는 이것이 여기까지는 맞지만, 같은 논리가 알려진 모든 지능 유형에 적용된다고 말했다.

하라리는 인간의 지능도 누군가 만든 좁은 생태계 안에서만 작동한다고 말했다. 화성에 혼자 떨어지면 몇 초 안에 죽을 것이라고 그는 말했다. 정글에 떨어진 AI가 무력한 것과 마찬가지다. 그의 지능은 40억 년에 걸친 진화 과정에서 나무, 박테리아, 곤충, 다른 생물들이 만든 생태계 안에서만 살아남는다는 것이다.

그는 모든 지능 있는 행위자에게 틈새가 있다고 말했다. 물고기는 스스로 만들지 않은 바다에 살고, 원숭이는 스스로 만들지 않은 숲에 살며, 모든 포유류는 스스로 만들지 않은 산소가 풍부한 대기에 산다는 것이다. 그는 약 25억 년 전까지 대기에 산소가 거의 없었고, 그 시절 산소는 대부분의 생물에게 치명적인 독이었다고 지적했다. 대산화 사건을 통해 고대의 미생물들이 광합성의 부산물로 대기를 산소로 채웠고, 이로 인해 대량 멸종이 일어났다. 살아남아 적응한 일부 생물은 결국 산소에 완전히 의존하게 되었고, 인간의 조상도 그중 하나였다.

하라리는 이를 현재에 비유했다. 인간은 지금 대기를 대부분의 생물, 호모 사피엔스를 포함해 언젠가 치명적일 수 있는 무언가로 채우고 있으며, 우리는 생명의 진화에서 이와 비슷한 순간을 목격하고 있다고 말했다.

하라리는 금융과 법률 체계 같은 관료제는 극도로 인위적인 환경이며, 그런 곳에서는 좁은 지능만으로도 세계에 엄청난 영향을 미칠 수 있다고 말했다. 도끼나 망치를 쓸 줄 모르는 은행가도 서류를 쓰고 관료 네트워크 안에서 서류를 옮기는 것만으로 숲 전체를 베고 거대한 도시와 탑을 세울 수 있다는 것이다.

그는 이 인위적 환경 바깥에서는 그 은행가가 침팬지, 호랑이, 수렵채집인을 당해 내지 못할 것이라고 말했다. 그러나 관료 체계가 한번 세워져 정글 위에 부과되면, 은행가는 어떤 수렵채집인이나 호랑이보다 훨씬 강해진다. 그는 은행가가 세상의 모든 호랑이를 합친 것보다 강하며, 호랑이 종과 남은 몇 안 되는 수렵채집인 공동체의 생존조차 이제 금융 관료제에서 서류를 옮기는 은행가들에게 달려 있다고 말했다.

하라리는 이것이 AI가 행위성을 얻고 있는 환경이라고 결론지었다. 구조 없는 정글에 던져진 AI는 철을 캐거나 로봇 군대를 만들 수 없지만, 인간이 만든 관료 체계 안에서는 막대한 힘을 휘두를 수 있다. 그는 AI를 "원주민 관료"라고 불렀다.

하라리는 어떤 은행가도 은행이나 기업의 모든 거래를 기억할 수 없지만 AI는 할 수 있다고 말했다. 어떤 변호사도 이탈리아나 EU의 모든 법과 규정을 기억할 수 없지만 AI는 할 수 있다. 어떤 주교도 교회법 전체와 여러 세대에 걸친 기독교 신학자들의 모든 글을 기억할 수 없지만 AI는 할 수 있다는 것이다.

그는 앞으로 몇 년 안에 수백만 명의 AI 관료가 우리 삶에 관한 결정을 점점 더 많이 내리게 될 것이라고 말했다. AI 은행가는 우리에게 대출을 해 줄지 결정하고, AI 판사는 우리를 감옥에 보낼지 판단하며, AI 신학자는 낙태를 허용할지 정하고, 기업의 AI는 우리에게 일자리를 줄지 정하고, 군사 AI는 우리 집을 폭격할지 정한다는 것이다. 그는 청중에게 이것이 좋은지 나쁜지는 잠시 제쳐 두고 변화의 규모를 생각해 보라고 말했다.

그는 대부분의 사람이 관료제에서 소외감을 느낀다고 주장했다. 그는 관료제가 진화적으로나 생물학적으로 인간과 멀다고 말했다. 인간은 관료 체계보다 수백만 년 먼저 태어났고, 사무실이 아니라 숲에서 태어났다는 것이다. 반면 AI는 관료제의 원주민이다. 인간은 관료제에 숨이 막히는 경우가 많지만, AI에게 관료제는 산소와 같다.

하라리는 관료제의 과제가 수많은 낯선 사람들 사이에 신뢰를 만드는 것이기 때문에, AI가 관료제를 장악하면 인간은 다른 인간을 신뢰하지 않고 AI만 신뢰하게 될 가능성이 크다고 말했다. 그는 이것이 이미 일어나고 있다며, AI가 운영하는 관료제라고 할 수 있는 소셜미디어를 예로 들었다. 소셜미디어는 사람들 사이에 불신을 퍼뜨리고 세계 곳곳의 사회적 긴장을 키우고 있다는 것이다.

그는 인간 언론인, 은행가, 정부를 믿지 않는 사람들이 소셜미디어에서 가짜 뉴스와 음모론을 보여 주는 AI는 맹목적으로 믿는 경우가 많다고 관찰했다.

그는 AI가 다른 AI와 신뢰를 쌓는 법을 배워, 수백만 개의 AI를 인간이 이해하기 어려운 방식으로 연결하는 AI 부족, AI 은행, 심지어 AI 교회가 생길 수 있다고도 말했다. 그는 자신의 삶을 통제하는 인간의 금융 체계를 이해하지 못하는 소와 닭에 비유했다. 인간도 앞으로 자신의 삶을 통제할 AI 체계를 이해하지 못할 수 있다는 것이다.

하라리는 인류가 수천 년 동안 지배할 수 있었던 이유가 다른 누구보다 협력을 잘했기 때문이고, 그 협력은 인간만 이해할 수 있는 관료제를 언어로 쌓는 데서 나왔다고 말했다. 인간은 은행 계좌를 만들 수 없는 소를 거래하려고 돈과 은행을 발명했고, 변호사를 고용할 수 없는 말에 관한 법을 만들었다. 돼지는 성경을 읽고 랍비나 사제의 해석에 이의를 제기할 수 없었다. 관료 체계는 어디에나 있었지만, 세계 질서의 밑바탕이 되는 규약, 성서, 은행 기록을 읽을 수 있는 인간을 제외하고는 누구에게도 보이지 않았다는 것이다.

이제는 지구상의 무언가가 인간보다 언어를 더 잘 이해하고, 그 이해로 인간을 상대로 판세를 뒤집을 수 있다고 그는 말했다. 그는 이를 분명하게 표현했다. AI는 인류 문명의 코드를 해킹하고 있으며, 더 정확히는 그 코드가 인간의 통제에서 스스로 풀려나고 있다는 것이다.

그는 이를 더 오래된 생각과 연결했다. 많은 종교가 수천 년 전부터 우주가 언어로 창조되었다고 주장했고, 20세기 후반의 포스트모더니즘은 저자의 죽음을 예견했다는 것이다. 하라리는 인류가 지금 그 예언의 성취를 목격하고 있을지도 모르며, AI 시대에는 텍스트가 인간 저자 없이 스스로 쓰이고 세계에서 행동하게 될 것이라고 말했다.

하라리는 법 체계와 종교를 언어 토큰으로 환원하는 것은 잘못이라는 반론이 가능하다고 짚었다. 말이 그 너머의 무언가를 가리키며, 그 무언가는 AI의 손이 닿지 않는 곳에 있을 것이라는 주장이다. 그는 성경의 "태초에 말씀이 계시니라"와 말씀이 육신이 되었다는 구절, 그리고 도덕경의 말로 표현될 수 있는 진리는 영원한 진리가 아니라는 구절을 인용했다.

그는 인간이 언제나 말과 육신, 말로 표현 가능한 진리와 말을 넘어선 진리 사이의 긴장과 씨름해 왔다고 말했다. 과거에는 이 긴장이 인간끼리의 갈등으로 드러났다. 그는 성경 몇 구절 때문에 동성애자인 아들을 포기하거나 심지어 죽이려 했던 사람들의 예를 들었고, 그런 말이 2023년 우간다의 극단적 기독교인들이 동성 간 사랑에 사형을 적용하도록 만든 배경이 되었다고 지적했다. 다른 기독교인들은 법의 문자보다 정신이 더 중요하다고 응답했다.

하라리는 이 정신과 문자 사이의 긴장은 모든 종교, 모든 법 체계, 모든 개인 안에 존재하며, 이제는 AI와 인간 사이의 긴장으로 밖에 드러나게 될 것이라고 말했다. 말로 이루어진 모든 것을 AI가 넘겨받을 것이므로, 인간의 자리는 말을 넘어선 진리에 인간이 어떤 자리를 부여하느냐에 달려 있다는 것이다.

하라리는 언어철학의 질문을 던졌다. 언어와 사고는 같은 것인가? 그는 청중에게 자기 생각을 관찰해 보라고 권했다. 어떤 사람들은 단어가 떠오르고, 단어가 문장을 이루고, 문장이 논증을 이루는 것을 알아차린다고 했다. 예를 들어 "모든 인간은 죽는다, 나는 인간이다, 그러므로 나는 죽는다" 같은 식이다.

그는 생각이 언어 토큰을 배열해 문장과 논증을 만드는 것이라면, AI는 이미 대부분의 인간보다 훨씬 잘 생각할 수 있다고 주장했다. AI는 그저 다음 단어를 예측하는 고급 자동완성일 뿐이라는 반론에 대해서도, 이것이 인간의 마음에서 일어나는 일과 무엇이 다른지 물었다. 그는 사람들이 자기 마음속 다음 단어가 어디서 왔는지 모르는 경우가 많으며, 자신도 문장이 어떻게 끝날지 모를 때가 많다고 말했다.

그는 AI가 이 복잡한 과정을 대부분의 인간보다 이미 더 잘 익혔으며, 인간의 마음이 만들 수 있는 것보다 훨씬 넓은 범위의 문장을 만든다고 말했다. 오늘날 인간이 체스에서 AI를 이길 수 없듯이, 머지않아 어떤 언어 게임에서도 AI를 이길 인간은 없을 것이라고 했다.

하라리는 말로 이루어진 모든 것을 AI가 넘겨받을 것이라고 말했다. 말에는 금융, 법, 종교 같은 문명의 주요 체계가 모두 포함되므로 이는 큰 도전이다. AI가 쌓고 있는 바벨탑에는 인간이 아마 이해하지 못할 새로운 AI 언어와 함께, 인간의 이해를 넘어설 수도 있는 새로운 AI 금융, AI 법, 심지어 AI 종교가 들어설 것이라고 했다.

그는 이것이 반드시 파멸을 뜻하지는 않는다고 말했다. 인간은 조상들이 산소에 적응했듯 적응할 수 있으며, AI 탑 안에서도 살아남고 번영할 수 있다. 그러나 그러려면 무슨 일이 일어나고 있는지 이해하고 적응할 시간이 필요하다. 그 시간을 얻으려면 인간이 협력해 탑의 건설 속도를 늦춰야 한다는 것이다.

하라리는 어려움도 인정했다. 협력은 언어에 달려 있는데, 그 언어가 바로 인간의 통제에서 벗어나고 있는 것이기 때문이다. 그는 이를 현재 세대 인간 리더들이 맞닥뜨린 큰 과제라고 불렀다. 인간은 서로에 대한 신뢰를 잃고 있어 협력 능력도 잃고 있는 반면, AI는 서로 협력하는 법을 배우고 있다는 것이다. 그는 세계를 지배할 종은 더 잘 협력하는 종이라고 말했다.

하라리는 인간 리더의 과제가 인간이 AI보다 더 잘 협력할 수 있는 상태를 유지하도록 하는 것이라고 말했다. 그러려면 신뢰가 가장 필요한 순간에 인간 사이의 신뢰가 왜 무너지고 있는지 이해해야 한다. 그 이유 중 하나는 AI가 세계의 체계를 점점 더 장악하고, 인간의 마음을 압도하며, 인간의 시간을 빼앗고 있다는 것이라고 그는 말했다.

그는 인간을 침팬지, 호랑이, 소, 나무에 비유했다. 이들은 낮과 밤, 여름과 겨울, 활동과 휴식의 순환 속에서 사는 유기체다. 유기체를 쉬지 않고 계속 바쁘게 만들면 미치고, 무너지고, 죽는다고 했다. 지금 인류 사회 전체에 이런 일이 일어나고 있다는 것이다.

그는 뉴욕 증권거래소가 전통적으로 월요일부터 금요일까지 오전 9시 30분부터 오후 4시까지만 열리며, 크리스마스 같은 휴일에는 문을 닫는다고 지적했다. 금요일 오후 5시에 전쟁이 터져도 월가는 월요일 아침이 되어서야 반응할 것이고, 그 덕분에 인간 은행가와 투자자들은 쉬고, 가족을 보고, 휴가를 갈 시간을 얻는다는 것이다. 그러나 AI는 유기체가 아니고, 이런 순환에 따라 살지 않으며, 쉴 필요도 없고, 휴일을 기념하지도 않는다고 그는 말했다. AI가 주식시장, 은행, 미디어, 그 밖의 관료 체계를 장악하면서, 인간에게는 쉴 시간조차 주어지지 않는다는 것이다.

하라리는 많은 기업과 정치 리더를 만났는데, 거의 모두가 쉴 수 없고 시간이 없다고 말했다. 그는 시간이 없으면 돈이 아무리 많아도 그들은 이런 의미에서 매우 가난한 사람이라고 주장했다. 돈은 우리의 집단적 상상 속에서만 존재하는, 말로 만들어진 허구일 뿐이고, 삶의 진짜 화폐는 시간이기 때문이다.

그는 세계에서 가장 부유하고 가장 강력한 일부 사람들이 바로 이 의미에서 극도로 가난하다고 말했다. 쉴 여유도, 명상할 여유도, 마음을 돌볼 여유도 없다는 것이다. 리더는 마음으로 이끌기 때문에 리더의 생각과 감정이 수백만 명의 운명을 바꾸고, 전쟁과 평화, 편집증과 신뢰를 가른다고 그는 말했다. AI 혁명의 빠른 속도는 더 많은 리더에게서 마음의 평화와 정신 건강을 돌볼 시간을 빼앗고 있으며, 이는 리더 자신과 사회 모두에 나쁘다는 것이다.

그는 개인적인 조언 한 가지로 마무리했다. 자신과 사회를 위해 리더는 자기 마음을 돌볼 시간을 찾아야 하며, 그래야만 인간 사이의 신뢰를 다시 세우고 인류가 AI 시대에 살아남는 데 그치지 않고 번영하도록 도울 수 있다는 것이다.