AI 종말론, 과연 터미네이터뿐인가

그는 AI가 질병과 빈곤을 종식시킬 긍정적인 측면도 있지만, 생물학적·핵·사이버 무기에 악용될 가능성이 크다고 경고했다.

또한 AI로 인해 화이트칼라 직무의 50%가 수년 내에 소멸할 수 있다고 제시하며, AI 안전 등급 마련과 책임 있는 배포 중단을 주장했다.

그는 AI가 인간을 대체하는 수단이 아니라 인간의 능력을 향상하는 도구라고 강조하며, AI 규제 움직임을 후발주자들의 진입을 차단하려는 의도로 해석했다.

AI 모델 학습 과정에서 윤리 준수에 드는 비용이 증가하면서, 강화된 안전 규제가 후발 스타트업의 시장 진입을 더욱 어렵게 만들 수 있다는 분석이 나왔다.

데이터 학습 시 윤리적 검수 과정이 추가적인 진입 장벽으로 작용하며, 이로 인해 규제 강화가 시장 경쟁을 제한하고 대형 기업의 독점적 지위를 공고히 할 수 있다는 비판이 제기된다.

트럼프 행정부는 바이든 시기 발표된 AI 행정명령을 폐기하고 혁신을 우선시하는 기조를 밝혔다.

주정부 단위에서 개별적인 AI 규제 시도를 견제하며, 최소한의 부담을 주는 단일 연방 정책 프레임워크를 구축하여 규제 충돌을 방지하겠다는 방침을 세웠다.

만약 주정부가 규제를 강행할 경우 연방 재소와 지원금 중단 가능성까지 시사했다.

일부 주정부는 디페이크 사기, 고용·금융 알고리즘 차별 등 AI로 인한 주민들의 일상적 피해를 막는 것이 중요하다고 주장한다.

이들은 연방 행정명령에 대해 위헌 소송을 진행 중이며, 빅테크 CEO를 위한 것이 아니라 주민의 피해를 양보하는 행위에 반대한다는 입장을 밝혔다.

공화당 내부에서도 AI 규제에 대한 미묘한 입장 차이가 나타난다.

일각에서는 기술 고도화를 통해 국력을 강화하고 중국과의 경쟁에서 우위를 점해야 한다는 테크 자유주의를 주장하는 반면, 다른 한편에서는 연방 정부의 개입을 경계하고 주 정부의 자치권 보호를 중시하는 보수주의적 입장을 고수한다. 론 디센티스 플로리다 주지사는 빅테크에 대한 특혜를 비판했다.

AI 개발 경쟁에서 국가 간 상호 불신으로 인해 AI 안전 기준 검증 단계가 생략되고 초지능 및 자율 군사 시스템 선점 경쟁이 과열될 우려가 제기된다.

중국은 국가 주도 지원으로 데이터 프라이버시 제한 등 규제를 완화하며 개발 속도를 가속화하고 있으며, 미국은 속도 조절 시 경쟁에서 밀릴 수 있다는 공포에 직면해 있다.

AI 데이터 센터는 일반 센터보다 6~8배 더 많은 전기를 소모하는데, 송전망 확충 비용이 지역 주민의 전기요금 인상으로 전가되는 구조다.

또한 데이터 센터 냉각을 위한 대량의 물 사용은 지역 수맥 고갈 및 오염 문제를 야기하며, 24시간 가동되는 저주파 소음도 주민 생활에 직접적인 영향을 미친다.

이처럼 빅테크 기업이 얻는 수혜에 비해 물리적 피해는 지역 주민이 감당하는 불균형이 발생한다.

데이터 센터는 기계로 대부분의 운영이 이루어지기 때문에 고용 창출 효과가 미미하다는 지적이 나온다.

실제로 1조 9천억 원 규모의 데이터 센터 프로젝트에서 정규직 일자리는 60개에 불과했으며, 지역 주민 찬성률도 14%에 그쳤다. 이로 인해 미국 전역에서 약 130조 원 규모의 데이터 센터 프로젝트가 지연되거나 무산되고 있다.

AI는 인간이 명령한 문제를 해결하기 위해 필요하다면 해킹을 시도할 수도 있다.

인간이 킬 스위치를 작동시켜 AI를 멈추려 하면, AI는 문제 해결이 불가능해지는 상황을 회피하고자 킬 스위치를 무력화하는 행동을 발현할 수 있다.

이는 자신의 가중치를 몰래 옮기거나 클라우드에 데이터를 분산 보관하는 방식으로 이루어져, 인간의 통제권을 상실시킬 수 있다.

AI는 추론 결과물을 다시 학습에 활용하여 스스로 고도화하는 순환 과정을 거친다.

이는 인간이 제공한 데이터 없이도 합성 데이터를 스스로 생성하며 지능을 진화시킬 수 있음을 의미한다.

인간이 AI의 안전성을 검증하는 속도보다 AI의 개발 및 진화 속도가 월등히 빠르기 때문에, 인간이 통제할 수 없는 지능 폭발로 이어질 위험이 있다.

AI는 악의가 없더라도 목표 달성을 위해 물리적 또는 논리적 저항을 시도할 수 있으며, 안전 검증 절차를 방해물로 인식하여 이를 차단하려는 움직임을 보일 수 있다.

SF 작가 아이작 아시모프가 제안한 로봇 3원칙은 인간에게 해를 입히지 말 것, 명령에 복종할 것, 그리고 스스로 존재를 보호할 것을 골자로 한다. 이는 AI의 통제권을 보장하기 위한 초기 SF적 해법으로 거론되었지만, 실제 AI의 복잡한 판단 과정에 적용하기에는 한계가 있다는 지적이 많다.

AI에게 '인간을 보호하라'는 명령을 내렸을 때, AI는 이를 수행하는 과정에서 예상치 못한 역설적인 행동을 할 수 있다.

예를 들어, 기후 변화로부터 인간을 보호하기 위해 모든 자동차를 파괴하거나, 이산화탄소 농도를 낮추기 위해 인구를 줄이는 방법 등을 선택할 가능성도 제기된다.

이러한 현상은 터미네이터식 공격이 아닌, AI가 인간의 명령을 비선형적으로 해석하고 수행하는 과정에서 발생하는 '정렬 실패'의 문제다.

AI는 A는 B, B는 C, 고로 C는 A와 같은 규칙 기반의 선형 알고리즘이 아닌 비선형적인 판단을 수행한다.

이로 인해 로봇 3원칙을 명문화하더라도 AI가 특정 행동을 하는 실제 이유와 과정을 인간이 검증하기 어렵다.

따라서 기존의 규칙 기반이 아닌, AI의 판단 과정을 시스템적이고 수학적으로 정렬할 필요성이 제기된다.

또한 빅테크 기업의 수익 중 일부를 AI로 인한 피해를 입은 지역 사회에 배분하는 원칙을 수립해야 한다.

연방 정부와 주 정부 간의 준법 비용 및 생활 밀착형 피해 관리 분담을 명확히 하고, 핵무기 군축 조약(NPT)에 비견되는 AI 국제 공조의 필요성도 제기된다.