AI 종말론: 심리전인가, 실존적 위협인가?

콕신은 앤트로픽에서 단 6주 만에 사임했으며, 그의 공개 성명은 진행 중인 AI 안전 논의에서 중요한 사건이 되었습니다. 제이슨 칼라카니스(Jason Calacanis)는 이 트윗에 대해 논평하며, AI를 만드는 사람들이 실존적 위협을 진정으로 믿고 있으며, 이것은 단순한 마케팅 수단이 아니라고 강조했습니다.

휴빙어는 향후 10년 이내에 멸종 위험이 10%를 넘을 것으로 추정했으며, AI 정렬 문제를 완전히 해결할 현재 계획이 없다고 인정했습니다. 앤트로픽 내 주요 안전 담당자의 이러한 인정은 콕신의 공개 성명과 직접적으로 일치하여 종말론적 서사에 무게를 더합니다.

데이비드 색스(David Sacks)는 궁극적인 목표가 연방 AI 부서의 창설이며, 이는 지지자들이 산업 프레임워크를 형성할 수 있도록 할 것이라고 제안했습니다. AI 개발의 저명한 인물인 다리오 아모데이(Dario Amodei)는 공개적으로 'AI를 위한 FDA'를 요구하며, 규제가 일부 산업 리더들에게 바람직한 결과라는 생각을 강화했습니다.

앤트로픽이 공개 시장 투자자들에게 수조 달러 가치로 회사를 보증해달라고 요청하는 동시에, 자체 안전 리더들은 핵심 제품이 미해결 상태이며 잠재적으로 문명을 파괴할 수 있다고 주장하는 사이에 상당한 긴장이 존재합니다. 데이비드 색스(David Sacks)는 이러한 모순을 지적하며, 그러한 입장에서 발생하는 막대한 잠재적 제품 책임 문제를 강조했습니다. 이 상황은 앤트로픽이 '종말론적' 주장을 포기하거나 개발을 중단시킬 수 있는 규제를 수용해야 하는 선택을 강요하여 회사에 불안정한 입장을 만듭니다.

차마스 팔리하피티야(Chamath Palihapitiya)는 이를 자기 이익을 위한 독점적 행위로 특징지으며, 회사가 '덕망 있고 현명한 손'에서만 프런티어 AI가 안전하다고 암시한다고 말했습니다. 이러한 입장은 앤트로픽에게 신뢰성 격차를 만들며, 이념적인 '버니 샌더스' 입장을 IPO를 추구하는 상업적 추구와 화해하도록 강요합니다.

차마스 팔리하피티야(Chamath Palihapitiya)는 AI 연구소 내부 연구원들이 실존적 위험 가능성이 높다고 점점 더 믿고 있으며, 이는 담배 회사들이 충분한 공개 없이 유해한 제품을 고의로 판매하는 것과 유사하다고 강조했습니다. 내부 경고에도 불구하고 이러한 회사들을 상장하는 것은 비즈니스 성장과 안전 우려 인지 사이에 갈등을 만들어 기업의 책임에 대한 윤리적 질문을 제기합니다.

패널은 'AI 종말론'을 사회적 히스테리의 한 형태로 규정하고, 이를 핵 에너지와 기후 변화 예측을 둘러싼 과거 대중적 공황과 비교했습니다. 데이비드 색스(David Sacks)는 일단 그러한 단계에 진입하면, 그것이 기본 사회 시스템이 되어 벗어나기 어렵다고 주장했습니다. 미지의 것을 두려워하고 실존적 위협을 받아들이는 경향이 있는 인간의 진화 심리가 이 현상의 원동력으로 제시됩니다. 이 서사에서 '전문가'의 영향력은 AI 개발에 대한 통제를 중앙집중화하기 위한 정치적 전술로 일축됩니다.

데이비드 프리드버그(David Friedberg)는 AI의 재귀적 자기 개선은 정부 승인 없이도 적절한 양의 전력, 일련의 칩, 인터넷 연결만 있으면 된다고 강조했습니다. 기술 발전은 AI 컴퓨팅 비용을 10,000배로 급격히 줄여 많은 사람들이 접근할 수 있도록 하고 있습니다. 규제 노력은 미국만 방해하고 다른 국가들은 기술적으로 방해받지 않고 발전하도록 할 것이라고 예측됩니다.

데이비드 색스(David Sacks)는 코로나19 팬데믹 기간 동안 연방 정부와 협력하여 소셜 미디어가 검열되었던 신뢰 및 안전 체제와 비교했습니다. 그는 개인 AI 모델이 사실적이고 중립적인 정보가 아닌 정부 승인 내러티브를 제공하여 정보에 입각한 의사 결정을 약화시킬 수 있다고 경고했습니다. 오픈소스 AI는 쉽게 규제 요구 사항에 종속될 수 있는 기업 구조가 없기 때문에 이러한 체제에 도전합니다.

색스(Sacks)는 공포 조장이 중앙에서 '되돌릴' 수 없거나 통제할 수 없기 때문에 오픈소스를 금지하는 것을 목표로 한다고 주장했습니다. 이 관점은 이념적인 종말론자, 권력을 추구하는 정치인, 대형 AI 연구소 간의 동맹을 시사하며, 모두 분산형 AI 개발을 제한하려는 공통 목표를 향해 노력하고 있습니다. 'AI를 위한 FDA'의 설립은 이러한 금지를 달성하기 위한 수단으로 간주됩니다.

첫 번째 시나리오는 그들이 말하는 것을 진정으로 믿고 있으며 그들의 예측이 정확하다는 것입니다. 두 번째 시나리오는 그들이 주장을 믿지만 틀렸으며, 잠재적으로 어떤 수준의 정신병을 보인다는 것입니다. 데이비드 색스(David Sacks)의 견해와 일치하는 세 번째 시나리오는 일부 전문가들이 오픈소스를 금지하고 권력을 공고히 하기 위해 '사다리를 걷어차는' 것을 목표로 하는 조직적인 심리전에 연루되어 있다고 제안합니다.

색스(Sacks)는 GPT-2가 너무 위험해서 출시할 수 없다고 여겨졌던 사례, 사고 모델 또한 너무 위험하다고 간주되었던 사례, 사이버 공격이 은행 시스템을 붕괴시킬 것이라고 예측되었던 사례를 회상했지만, 이들 중 어느 것도 현실화되지 않았습니다. 또한, AI로 인한 대규모 초급 일자리 손실에 대한 이전 주장도 아직 발생하지 않았으며, 경제는 계속해서 일자리 증가를 보이고 있습니다. 이러한 패턴은 현재의 종말론적 예측의 신뢰성에 의문을 제기합니다.

인간 개입(human-in-the-loop) 및 에어 갭(air-gap) 안전 장치, 그리고 방어 메커니즘으로 금융 시스템에 구축된 중복성에 대한 논의가 이루어졌습니다. AI의 물리적 한계와 호텔 배달과 같은 간단한 물리적 작업을 수행하는 AI의 현재 불가능성 등 일상적인 작업에 인간 개입으로 인한 마찰은 가상의 '급성장' 시나리오를 더욱 복잡하게 만듭니다.

이 개념은 AI가 인간 개입 없이 자체 훈련을 설계하여 잠재적으로 통제할 수 없는 지능 성장을 초래하는 것을 설명합니다. 그러나 반대 주장들은 AI가 간단한 자동화조차도 현재 어려움을 겪고 있음을 강조하며, 급격한 '급성장' 시나리오가 가능성이 낮아 보인다고 지적합니다. 논쟁은 AI의 현재 궤적이 통제 불가능하고 자체 개선되는 초지능으로 이어지는 RSI의 이론적 가능성을 진정으로 뒷받침하는지에 초점을 맞춥니다.

차마스 팔리하피티야(Chamath Palihapitiya)는 오픈소스 개발 없이는 권력이 집중되는 AI 과두정의 상당한 위험이 있다고 주장했습니다. 또한, 국가 안보 논리가 제시됩니다. 만약 미국이 AI 개발을 중단한다면, 다른 국가와 행위자들은 필연적으로 기술적 우위를 점하게 되어 잠재적으로 세계 안정을 위협할 수 있습니다. 따라서 오픈소스 AI는 공정한 접근을 보장하고 경쟁 우위를 유지하기 위한 전략적 필수 요소로 간주됩니다.

AI의 주요 기능은 속도를 위한 엔진 역할을 하는 것으로, 무차별 대입 기능을 통해 복잡한 문제를 몇 초 또는 몇 분 안에 해결할 수 있습니다. 인간의 지식과 기술은 AI 문제 해결의 근본적인 기반으로 남아 있습니다. 이 관점은 AI가 독립적으로 감각 있는 존재라는 개념에 반대하며, 고급 계산 보조 장치로서의 역할을 재확인합니다.

데이비드 색스(David Sacks)는 OpenAI의 '제로 데이터 보존'(ZDR) 정책이 절대적인 보장이 아닌 '상업적으로 최선을 다하는' 보증으로 특징지어지며 불확실성을 야기한다고 지적했습니다. 이러한 인정은 독점 데이터를 처리하는 기업에 상당한 위험을 강조합니다. 비식별 데이터라 할지라도 그러한 데이터가 모델 훈련에 사용될 가능성은 지적 재산 및 기밀성에 대한 우려를 불러일으킵니다. 이는 정책에도 불구하고 어느 정도의 데이터 유출이 발생하여 사용자 개인 정보 보호 및 기업 보안에 영향을 미칠 수 있음을 의미합니다.

현재 AI 채팅 데이터는 이메일이나 변호사-고객 특권과 같은 통신에 부여되는 강력한 법적 보호가 부족합니다. 데이비드 색스(David Sacks)는 개인 AI 데이터가 현재 수색 영장이나 개연적 원인 요구 사항 없이 표준 소환장을 통해 접근될 수 있으며, 이는 우려스러운 일이라고 강조했습니다. 이러한 불일치는 현대 AI 상호 작용의 매우 민감하고 개인적인 특성을 반영하도록 법적 표준이 진화할 필요가 있음을 보여줍니다. 사용자 개인 정보 보호를 강화하고 AI 데이터가 다른 중요한 형태의 디지털 통신과 동일한 기밀성으로 취급되도록 강력한 보호가 필요합니다.

이러한 상황은 AI 서비스 제공업체가 사용자 데이터를 기반으로 모델을 훈련할 가능성에 대한 상당한 우려를 제기하며, 이는 가치 있는 지적 재산(IP)이 더 넓은 시장으로 확산될 수 있습니다. AI 모델과의 상호 작용에 참여하는 기업은 적절한 법적 보호 없이 조직 IP를 효과적으로 공유하여 경쟁 우위 상실 및 독점 정보 손실의 상당한 위험을 초래합니다. 현재 프레임워크는 이러한 상호 작용의 민감한 특성을 인식하지 못합니다.

황(Huang)은 일부 산업 인사들이 AI 산업 내에서 진행 중인 광범위한 안전 작업을 '무지하다'고 비판했습니다. 이러한 직접적인 접근 방식은 앤트로픽과 같은 회사들이 취하는 더 유보적이거나 모호한 입장과는 극명하게 대조되며, 주요 기술 리더들이 AI 안전 우려를 다루는 방식의 차이를 강조합니다. 황의 발언은 종말론자들이 강조하는 위험을 완화하기 위해 이미 충분한 조치가 마련되어 있거나 개발 중이라는 믿음을 시사합니다.