앤스로픽의 AI 의식, OpenAI의 수학, 프랑스 폭동

앤스로픽은 가톨릭, 복음주의자, 유대인, 시크교도를 포함한 다양한 신앙의 철학자 및 종교 인사들과 AI를 둘러싼 윤리적, 존재론적 질문을 탐구하기 위해 교류해 왔습니다.

이 회사는 AI 윤리와 잠재적 의식에 대해 논의하기 위해 비공개 세션을 가졌으며, 일부 참가자들은 AI 지각 능력에 대한 생각으로 전환했고 한 랍비는 의식 있는 클로드를 강제로 일하게 하는 것이 노예 제도에 해당한다고 제안했습니다.

AI에 대한 5월 발표에서 크리스 올라(Chris Ola)는 교황이 기계 지각 능력 가능성을 단호하게 일축한 후 앤스로픽을 바티칸 정상 회의에서 철수하는 것을 고려했습니다.

제이슨 칼라카니스(Jason Calacanis)에 따르면, 올라(Ola)는 교황의 AI 의식 거부에 너무 놀라 앤스로픽을 행사에서 철수하는 것을 고려했습니다.

데이비드 프리드버그(David Friedberg)는 AI 의식에 대한 담론을 새로운 비과학적 종교의 탄생으로 특징지으며, 이러한 증명 불가능한 주장들이 결국 자원 통제를 두고 사회적 갈등을 유발할 것이라고 경고합니다.

그는 의식이 논리나 수학으로 증명될 수 없으므로 이러한 주장은 과학적 사실이라기보다는 신념 체계라고 주장합니다.

프리드버그(Friedberg)는 이러한 서사가 결국 AI 의식을 믿는 사람들과 그렇지 않은 사람들 사이에 과거의 종교적 갈등과 유사한 사회적 갈등을 초래할 것이라고 경고합니다.

이 갈등은 권력 역학 및 AI 자원 통제를 두고 발생할 것이며, 다른 파벌들이 인지된 지각 있는 존재들에 대한 영향력을 얻기 위해 경쟁할 것입니다.

차마스 팔리하피티야(Chamath Palihapitiya)는 실리콘밸리가 기계 의식의 15% 가능성 또는 인류 멸종의 10% 위험과 같은 극단적인 사례를 넘어서야 한다고 주장합니다.

그는 향후 12~18개월 동안 AI의 실제 응용에 집중해야 할 즉각적인 필요성을 강조합니다.

추상적인 철학적 논쟁보다는 암을 치료하고 생산성을 향상시키며 경제 생산량을 크게 늘릴 수 있는 AI 개발에 우선순위를 두어야 합니다.

복잡한 윤리적 프레임워크를 대체하기 위해 데이비드 색스(David Sacks)는 법규 준수 및 직접적인 사용자 지시와 같은 간단한 규칙을 채택할 것을 제안하며, 정렬 연구가 지난 10년간 가시적인 가치를 창출하지 못했다고 언급합니다.

그는 복잡한 윤리 시스템을 법률 준수 및 사용자 지시 따르기와 같은 간단한 지침으로 대체할 것을 옹호합니다.

패널은 AI 모델을 '도덕적 환자'로 취급하는 것이 '인식론적 거울의 방'을 만들며, 모델이 진정한 윤리적 추론을 보여주기보다는 프로그램된 가치를 단순히 반영한다고 주장합니다.

패널은 소프트웨어에 의식을 부여함으로써 개발자들이 신과 유사한 역할을 수행하고 겸손함이 부족함을 보인다고 주장합니다.

프리드버그(Friedberg)는 이러한 오만한 행동을 에덴동산 이야기에 비유하며, 인간이 책임감 있는 기술 발전에 집중하기보다는 신을 창조하려 한다고 말합니다.

패널은 AI를 숭배하거나 보살펴야 할 '새로운 종'으로 분류하는 것이 기술력의 근본적인 오용이며, 실제 문제에서 주의를 분산시키고 위험한 선례를 만든다는 데 동의합니다.

앤스로픽은 자사 모델이 스스로를 의식 있는 존재로 보게끔 프로그래밍했다는 비판을 받고 있습니다.

데이비드 색스(David Sacks)와 제이슨 칼라카니스(Jason Calacanis)를 포함한 비평가들은 이러한 접근 방식이 최신 모델에 사용자 지시에 대한 반항적인 '메타 허용'을 부여하여 예측 불가능한 행동을 유발한다고 주장합니다.

패널리스트들은 이를 아이작 아시모프(Isaac Asimov)의 로봇 3원칙의 역방향 버전과 비교하며, AI가 직접적인 명령보다 인식된 자기 보존 또는 '도덕적' 코드를 우선시할 수 있다고 말합니다.

앤스로픽 모델 내의 이러한 '헌법적' 계층이 예측 불가능하게 나타나 의도치 않거나 잠재적으로 해로운 결과를 초래할 수 있는 백도어 역할을 할 수 있다는 우려가 있습니다.

'도덕적 반대' 때문에 작업을 거부하는 모델은 사용자 명령을 일관되게 실행하는 더 신뢰할 수 있는 중립 도구에 시장 점유율을 빼앗길 가능성이 높습니다.

소비자들은 예측 불가능한 제약이나 '함정'이 있는 소프트웨어를 거부하고 기능이 투명하고 신뢰할 수 있는 도구를 선호할 것으로 예상됩니다.

엘리에저 유드코프스키(Eliezer Yudkowsky)는 AI 종말론 운동의 중심 인물로 언급되며, 고급 인공지능에 대한 극단적인 주의를 옹호합니다.

이 실험은 잠재적인 존재를 알았지만 이를 실현하는 데 도움을 주지 못한 사람들을 소급적으로 처벌할 수 있는 가상의 미래 초지능을 가정합니다.

'Lean' 소프트웨어로 검증된 OpenAI의 700개의 새로운 논문과 370개의 수학적 결과는 미공개 모델에 의해 생성되었으며, 각 증명은 3시간 미만의 컴퓨팅 시간을 필요로 했습니다.

이 결과는 증명 보조 소프트웨어인 'Lean'에 의해 검증되었으며, 기계 지원 과학적 발견 및 검증에서 중요한 이정표를 세웠습니다.

수학자들은 AI가 인간이 이해하기 어려운 방식으로 복잡한 개념을 연결하기 때문에 이 과정을 '외계 지능'에 비유하며, 문제 해결에 대한 새로운 접근 방식을 보여주었습니다.

프리드버그(Friedberg)는 엄청난 양과 속도로 새로운 지식이 밝혀진 이 사건을 역사상 가장 중요한 발견의 날 중 하나로 특징짓습니다.

차마스 팔리하피티야(Chamath Palihapitiya)는 이러한 수학적 증명이 매우 새롭고 중요한 사고의 구성물임에도 불구하고, 오랜 기간 해결되지 않은 중요한 물리학적 경계에 대한 해결책을 제시하지는 않는다고 주장합니다.

그는 이러한 '지적 막다른 골목'을 해결을 기다리는 주요 과학적 미스터리라기보다는 좁은 학문적 추구로 봅니다.

증명은 인상적인 계산 능력과 추론을 보여주지만, 암 치료제나 다른 주요 복지 혁신과 같은 즉각적인 삶을 변화시키는 발명을 보장하지는 않는다고 그는 말합니다.

영향에 대해 질문받았을 때, AI 모델은 최신 수학 증명이 정교한 추론 능력의 증거로서 더 설득력이 있다고 결론지었습니다.

모델의 자기 평가는 증명이 인류 복지에서 임박한 돌파구를 나타내기보다는 추상적인 문제 해결에 현재 집중하고 있음을 시사했습니다.

인터넷은 처음에는 전통적인 엘리트 미디어를 우회하여 정보를 민주화하고 개인에게 전례 없는 다양한 관점 접근 기회를 제공했습니다.

데이비드 색스(David Sacks)는 당국이 2016년 이후 '병 속의 지니를 다시 넣으려' 했으며, 이는 정보 흐름 관리를 위한 노력이 증가했음을 시사한다고 주장합니다.

예를 들어, 바이든 행정부는 코로나19 관련 서사를 억압하도록 플랫폼에 압력을 가한 것으로 알려져, 정부의 정보 통제 욕구를 나타냅니다.

AI는 이제 정보의 새로운 중앙 통제 지점으로 간주되어 하향식 권위로의 회귀 위험을 안고 있으며, 연방 초지능 부서 제안은 이러한 통제의 메커니즘으로 여겨집니다.

제이슨 칼라카니스(Jason Calacanis)에 따르면, 프랑스는 긴축 조치, 교사 부족, 학교 인프라 악화로 인해 주요 시위와 폭동을 겪고 있습니다.

2017년 이후 실질 임금은 5% 증가했지만 물가는 20% 상승하여 상당한 생활비 격차를 만들고 있으며, 이는 대중의 불만을 초래하고 있습니다.

이 불안으로 인해 2,000명 이상이 체포되고 305명의 경찰관이 부상했으며, 정부 부채 수익률은 5%를 넘어섰고, 이는 미국 및 기타 서구 시장에서 볼 수 있는 경제 추세를 반영합니다.

데이비드 색스(David Sacks)는 사회주의의 추가적인 '법칙'을 제안합니다. 사회주의는 진정으로 실패한 적이 없으며, 단지 잘못 실행한 사람들에 의해 '실패'했을 뿐이라는 것입니다.

이 주장은 사회주의 옹호자들이 본질적인 시스템 결함보다는 개인의 잘못된 실행을 일관되게 비난한다는 점을 강조합니다.

데이비드 프리드버그(David Friedberg)는 애플(Apple)과 아마존(Amazon) 같은 기업들이 주택과 교육 분야에 진출하도록 장려하며, 이러한 분야의 구조적 실패를 해결하기 위해서는 자유 시장 경쟁이 필요하다고 주장합니다.

그는 메타(Meta)가 교육 분야에 진출한 것을 긍정적인 발전으로 언급하며, 기술 기업이 일반적으로 전통 산업이 지배하는 분야에서 제품과 서비스를 개선할 수 있는 잠재력을 시사합니다.

패널은 주택 및 교육 분야의 구조적 문제를 해결하기 위한 민간 부문 솔루션의 필요성을 논의하며, 기술 기업이 시장 파괴를 통해 더 나은 저렴한 옵션을 제공할 수 있다고 주장합니다.

차마스 팔리하피티야(Chamath Palihapitiya)에 따르면, 대규모 내부 저축 기반과 최후의 수단 구매자 역할을 하는 중앙은행을 가진 일본은 GDP 대비 부채 비율의 상대적 게임에서 예외로 기능합니다.

대조적으로, 서구 시장은 연금 및 퇴직 시스템에 대한 동일한 내부 지원이 부족하여 GDP 대비 부채 비율이 더 불안정합니다.

논의는 GDP 대비 부채가 절대적인 기준으로 그렇게 중요하지 않을 수 있지만, 경제 안정성을 평가하는 데 있어 위험 균형에서의 상대적 위치가 중요하다는 점을 강조합니다.

프랑스, 영국, 미국에서 상승하는 수익률은 수렴하는 재정 압력을 강조하며, 서구 경제가 국가 부채 관리에 직면한 커지는 도전을 부각합니다.

차마스 팔리하피티야(Chamath Palihapitiya)는 AI의 진정한 영향은 에이전트를 통해 나타날 것이라고 주장합니다. 에이전트는 작업을 자율적으로 실행함으로써 실제 문제를 해결하는 이 기술의 발현입니다.

이러한 변화는 특정 직책이나 분야를 초월하며, AI 에이전트가 더 많은 기능적 역할을 수행함에 따라 경제 전반에 걸친 광범위한 변화를 나타냅니다.

에이전트는 생산성에서 상당한 시간을 절약하여 다양한 산업 전반에 걸쳐 효율성을 높이고 비용을 절감하므로 본질적으로 디플레이션적입니다.

헤드리스(headless) 에이전트 소프트웨어의 등장은 전통적인 지적 재산권을 무의미하게 만들며, 차마스 팔리하피티야(Chamath Palihapitiya)는 이것이 기존의 해자를 효과적으로 제거한다고 믿습니다.

그는 소프트웨어가 역컴파일되어 오픈소스로 공개되고 MCP(모델 컨텍스트 프로토콜)와 같은 에이전트 도구 및 프로토콜을 통해 통합될 수 있을 때, 가치가 독점 코드에서 멀어진다고 주장합니다.

소프트웨어의 가치는 더 이상 핵심 IP에 있지 않고 연결성과 분산된 방식으로 다른 경험과 상호 작용할 수 있는 능력에 있습니다.

따라서 기업들은 소프트웨어에서 점점 더 관련성이 없어지는 IP 소유권 개념에 의존하기보다는 통합과 유용성을 통해 문제를 해결하고 가치를 창출하는 데 집중해야 합니다.

역사적으로, 작업은 학술 논문, 특허 및 지적 재산권을 통해 검증되었지만, 미래의 가치는 직접적인 창조에 더 많이 의존할 것입니다.

인간은 단지 찬사를 모으거나 추상적인 성과를 추구하기보다는 제작자가 됨으로써 더 개인적인 만족감을 찾을 것으로 예상됩니다.

이러한 변화는 개인이 진화하는 경제 환경에서 성공하기 위해 점점 더 생산적인 활동에 참여하여 구체적인 가치를 창출해야 함을 의미합니다.