제프 딘, AI의 사회적 영향 강조하며 과학적 발견 자동화를 위한 디스커버리 루프 출범

제프 딘은 공익 법인으로 설립된 새로운 회사 디스커버리 루프를 공동 설립했습니다. 이 회사의 야심찬 임무는 수많은 과학 분야에서 발견 속도를 가속화하기 위해 머신러닝 과학 및 공학을 자동화하는 것입니다. 딘은 "우리의 새로운 공익 법인 디스커버리 루프와 우리의 상당히 야심찬 임무 뒤에 있는 아이디어는 우리가 많은 다른 분야에서 발견 속도를 향상시킬 수 있도록 머신러닝 과학 및 공학을 자동화하고 싶다는 것입니다."라고 말했습니다.

이 회사는 현재 며칠이 걸리는 실험 반복 주기를 단 몇 분으로 단축하는 것을 목표로 하여 실험 수행 시간을 크게 줄이는 데 특별히 주력하고 있습니다. 이 접근 방식은 다양한 분야에서 박사 수준 연구자들의 전문성과 작업 흐름을 모방하도록 설계된 다중 에이전트 시스템을 만드는 것을 포함합니다.

제프 딘이 새로운 회사를 시작하기로 한 결정과 던 송이 대규모 플랫폼으로 이동한 결정 사이의 주목할 만한 대조가 강조되었습니다. 진행자는 "던은 대규모 플랫폼으로 이동하고 있고 제프는 새로운 것을 시작하기 위해 매우 큰 플랫폼을 떠나고 있습니다. 오늘 무대에 있는 최고의 두 사람조차 AI를 하는 회사의 최적 규모에 대해 동의하지 않는 것 같습니다."라고 지적했습니다. 이는 인공지능 발전을 위한 가장 효과적인 조직 규모에 대한 AI 커뮤니티 내의 지속적인 논쟁을 보여줍니다. 일부 저명한 인사들은 대기업의 방대한 자원과 확립된 인프라를 선택하는 반면, 다른 사람들은 신생 벤처의 민첩성과 집중된 비전이 획기적인 혁신에 더 적합하다고 믿습니다.

진행자는 AI의 발전 궤도에서 중요한 변화를 강조했습니다. 단순한 역량 향상을 넘어 실제 사회적 영향을 다루는 것으로 이동하고 있습니다. "지난 10년은 AI를 더 유능하게 만드는 것이었습니다. 이제 다음 장에서는 훨씬 더 중요한 질문에 답해야 할 기준을 높입니다. 이 모든 위대한 지능으로 실제로 무엇을 이룰 수 있을까요? AI가 암을 치료할 수 있을까요? AI가 우리 사회를 더 좋게 만들 수 있을까요?" 이전 10년은 주로 AI의 핵심 기능을 개선하고 처리 능력을 확장하는 데 집중했습니다. 이제 대화는 AI가 질병 치료나 사회 복지 향상과 같은 복잡한 글로벌 문제를 적극적으로 해결할 수 있는 방법에 대한 중요한 질문을 제기하는 실용적인 응용 분야로 전환되고 있습니다.

이 연구의 주요 목표는 방대한 정보를 저장하고 처리할 수 있는 매우 큰 모델을 개발하는 것이었습니다. 딘은 "그 작업 뒤에 있는 직관은 정말로 많은 것을 기억할 수 있는 많은 용량을 가진 정말 정말 큰 모델을 원하지만, 가장 유용한 모델의 부분만 호출하여 효율적으로 만들고 싶다는 것이었습니다."라고 설명했습니다. 이 모듈식 아키텍처는 모델이 주어진 작업에 가장 관련성이 높은 '전문가' 구성 요소만 선택적으로 활성화하여 거대한 규모에도 불구하고 효율성을 유지할 수 있도록 합니다.

스파스 활성화 모델, 특히 Mixture of Experts의 개발은 AI 훈련의 컴퓨팅 효율성에서 상당한 도약을 가져왔습니다. 모든 입력에 대해 모든 매개변수를 활성화하는 밀집 모델과 달리, 스파스 모델은 인간의 뇌가 모든 영역을 동시에 사용하지 않는 방식과 유사하게 주어진 작업에 관련성이 있는 특정 '전문가' 구성 요소만 활성화합니다. 제프 딘은 이 돌파구에 대해 흥분을 표하며 "그래서 우리는 그것에 대해 상당히 흥분했습니다. 우리는 그것이 큰 일이라는 것을 알았습니다. 왜냐하면 우리가 당시 사람들이 주로 사용하던 밀집 모델보다 훈련 컴퓨팅 대 품질 비율이 약 10배 더 좋다는 것을 알 수 있었기 때문입니다."라고 언급했습니다.

이 혁신은 훈련 컴퓨팅 대 품질 비율에서 10배 향상을 가져왔으며, 당시 주로 사용되던 밀집 모델에 비해 상당한 발전을 이루었습니다. 이러한 효율성 향상은 컴퓨팅 자원의 비례적인 증가 없이 훨씬 더 크고 유능한 모델을 생성하고 훈련할 수 있게 하여 미래의 대규모 AI 아키텍처를 위한 길을 열었습니다.

2011-2012년경, 구글은 딥러닝 모델을 크게 확장하는 전략을 시작하여 다양한 애플리케이션에서 오류율을 극적으로 줄였습니다. 제프 딘은 "이미지 분류 오류율이 놀랍도록 감소했으며, 음성 인식 개선은 상당히 단순한 딥 어쿠스틱 음성 모델을 확장하는 것만으로 이전 20년의 음성 연구와 동등한 수준의 오류율을 낮추는 결과를 가져왔습니다."라고 언급했습니다. 이전 반복보다 50배 더 큰 신경망을 생성함으로써 상당한 개선이 관찰되었습니다. 예를 들어, 모델 확장을 통해 짧은 기간에 달성된 음성 인식 성능 향상은 이전 20년 동안의 누적 연구 발전을 능가했습니다.

텐서플로우는 머신러닝 연구자와 개발자로부터 하드웨어 구현의 복잡성을 추상화하는 핵심 목표로 개발되었습니다. 이 우아한 추상화는 사용자들이 모델이 컴퓨팅 하드웨어에서 어떻게 실행되는지의 복잡성보다는 모델 설계에 집중할 수 있도록 했습니다. 딘은 "우리는 ML 연구자나 개발자가 컴퓨팅 하드웨어에 정확히 어떻게 매핑되는지로부터 약간 추상화될 수 있는 능력을 가져오고 싶었습니다. 왜냐하면 그것은 정말 멋지고 우아한 추상화이기 때문입니다. 여러분은 '내 머릿속에는 이 아름다운 ML 모델이 있고, 어떻게 구현하든 상관없지만 정말 빠르게 실행되게 해주세요'라고 말할 수 있습니다."라고 설명했습니다.

사용자들이 컴퓨팅 그래프를 통해 모델을 표현할 수 있게 함으로써 텐서플로우는 강력한 인터페이스를 제공했습니다. 플랫폼을 오픈 소싱함으로써 연구 구현을 더욱 표준화하고, 개발자들이 깊은 하드웨어 전문 지식 없이도 복잡한 머신러닝 모델을 효율적으로 구축하고 배포할 수 있는 협업 환경을 조성했습니다.

제미니 프로젝트는 제프 딘과 오리올 비니얼스가 분리된 AI 연구 노력을 통합하기 위한 명시적인 목표로 공동 설립되었습니다. 딘은 한 페이지짜리 메모를 작성했던 것을 회상하며 "저는 한 페이지짜리 메모를 썼습니다. '이것은 정말 어리석은 짓이다. 우리는 모두 함께 일해야 한다. 사람들과 아이디어, 컴퓨팅 자원을 결합하여 처음부터 멀티모달인 하나의 모델을 훈련시키자'라고요."라고 말했습니다. 이 이니셔티브는 구글 브레인과 딥마인드의 기존 팀과 자원을 모아 개발을 간소화하고 단일하고 강력한 AI 모델에 집중하는 것을 목표로 했습니다. 이 전략은 처음부터 진정한 멀티모달 아키텍처를 개발하여 다양한 유형의 데이터를 포괄적으로 처리하고 이해할 수 있도록 하는 데 중점을 두었습니다.

제프 딘은 제미니 개발 초기에 코딩 능력과 관련하여 발생한 초기 간과를 인정했습니다. 그는 "코딩에 놀랍도록 능숙하게 만드는 데 대한 우리의 초점이 조금 뒤처지고 있었던 것 같습니다. 우리는 그것을 깨달았고 따라잡기 위해 노력하고 있습니다."라고 시인했습니다. 초기에는 초점이 너무 넓게 분산되어 이러한 격차가 발생했을 수 있습니다. 강력한 코딩 능력이 AI 모델의 더 나은 추론 능력과 본질적으로 연결되어 있음을 인식하고, 제미니의 코딩 작업 숙련도를 향상시키기 위한 시정 노력이 신속하게 구현되었습니다. 이 전략적 전환은 모델의 전반적인 지능과 문제 해결 능력을 향상시키는 것을 목표로 했습니다.

제프 딘은 문헌 검토에 대한 심층적인 접근보다는 폭넓은 초기 접근 방식을 강조하며 연구 발견을 촉진하기 위한 자신의 휴리스틱을 공유했습니다. 그는 종종 학생들에게 "저는 학생들에게 하나의 논문을 자세히 읽는 것보다 10개의 논문을 훑어보는 것이 낫다고 자주 말합니다. 왜냐하면 그렇게 하면 '무엇이 가능할까'라는 여러분의 생각 구름 속에 10개의 점을 얻을 수 있기 때문입니다."라고 조언합니다. 목표는 하나의 논문의 모든 세부 사항을 마스터하는 것이 아니라, 다양한 아이디어를 빠르게 흡수하는 것입니다.

이 방법은 가능성의 개념적 '구름'을 구축하여 연구자들이 이전에 관련이 없던 개념들을 연결할 수 있도록 하는 것을 목표로 합니다. 딘은 '점들을 연결하는' 이러한 학제 간 접근 방식이 좁은 분야 내에서의 점진적인 개선보다는 구조적 문제 해결과 진정으로 새로운 통찰력을 생성하는 데 중요하다고 믿습니다.

사이버 보안에서 AI의 적용은 강력한 방어 능력과 상당한 공격 잠재력을 모두 제공하는 이중 사용 딜레마를 제시합니다. 제프 딘은 "그것들은 또한 보안 취약점을 찾는 데 사용될 수 있으며, 이는 양날의 검입니다. 존재하는 보안 취약점을 패치하는 데 사용할 수 있으며 세상에는 많은 보안 취약점이 있습니다. 그리고 악의적인 사용자라면 그것들을 악용하는 데 사용할 수도 있습니다."라고 설명했습니다. AI 도구는 시스템의 약점을 효율적으로 식별할 수 있으며, 이는 윤리적인 전문가가 기존 취약점을 패치하는 데 활용할 수 있습니다.

그러나 동일한 고급 도구는 악의적인 행위자가 이러한 결함을 악용하는 데 사용될 수 있으며, 사이버 보안 방어자와 공격자 간에 더욱 정교하고 빠르게 진화하는 군비 경쟁을 만듭니다. 이러한 내재된 이중성은 보안 영역에서 AI 기술의 책임 있는 개발 및 배포에 대한 비판적 필요성을 강조합니다.

제프 딘은 AI의 재귀적 자기 개선 개념, 즉 모델이 자체 아키텍처를 생성하고 최적화하도록 설계되는 개념을 자세히 설명했습니다. 그는 "제 동료이자 공동 설립자인 쿼크 리와 다른 사람들은 신경 아키텍처 검색을 통해 이 분야의 초기 작업을 시작했습니다. 이는 모델이 머신러닝 모델 아키텍처를 생성하고 해당 모델 아키텍처가 얼마나 잘 작동하는지 평가하는 방식입니다."라고 언급했습니다. NAS(신경 아키텍처 검색)로 알려진 이 과정은 AI 모델이 다양한 머신러닝 모델 아키텍처를 생성하는 것을 포함합니다. 그런 다음 강화 학습 메커니즘이 피드백을 제공하여 생성된 아키텍처의 성능을 평가하고 모델을 더 최적의 설계로 안내합니다.

이 반복적인 프로세스는 지속적인 개선과 최적화를 가능하게 합니다. 중요한 예로는 표준 트랜스포머 모델보다 효율성이 30% 증가한 Evolved Transformer가 있으며, 모델이 자체 개선 사항을 설계하는 것의 심오한 영향을 보여줍니다.

공익 법인으로 설립된 디스커버리 루프는 머신러닝 과학 및 공학을 자동화하려는 야심찬 임무를 기반으로 합니다. 제프 딘은 "우리의 새로운 공익 법인 디스커버리 루프와 우리의 상당히 야심찬 임무 뒤에 있는 아이디어는 우리가 많은 다른 분야에서 발견 속도를 향상시킬 수 있도록 머신러닝 과학 및 공학을 자동화하고 싶다는 것입니다."라고 분명히 밝혔습니다. 이 회사의 핵심 전략은 다양한 과학 분야에서 일반적으로 박사 수준에서 발견되는 전문 지식을 모방하고 능가하도록 설계된 정교한 다중 에이전트 시스템을 배포하는 것을 포함합니다.

이 접근 방식은 실험 반복에 필요한 시간을 획기적으로 줄이는 것을 목표로 합니다. 복잡한 연구 워크플로우를 자동화함으로써 디스커버리 루프는 발견 주기를 며칠에서 단 몇 분으로 단축하여 과학적 혁신 및 혁신의 속도를 대규모로 가속화하고자 합니다.

제프 딘은 "공익 법인으로서 우리는 가능한 한 많은 사람들에게 과학적 발견을 전하고 싶습니다. 그래서 우리의 목표는 그것들을 널리 배포하는 것이며, 회사의 재정적 이익에는 부합하지 않지만 더 넓은 사회적 이익에는 부합하는 결정을 내릴 수도 있습니다."라고 명확히 했습니다. 이 지정은 회사가 결정이 사회와 환경에 미치는 영향을 법적으로 고려해야 함을 의미합니다.

따라서 주요 목표는 과학적 발견을 가능한 한 널리 전파하여 돌파구가 전 세계적으로 가장 많은 사람들에게 혜택을 주도록 하는 것입니다. 이는 즉각적인 기업 이윤을 극대화하지는 않지만 대신 더 넓은 공공의 이익에 봉사하는 전략적 선택을 수반할 수 있습니다.

던 송은 메타와 자신의 스타트업을 통합하기로 한 결정에 대해 플랫폼의 광범위한 도달 범위와 확립된 인프라를 핵심 요소로 꼽았습니다. 그녀는 "메타도 훌륭한 플랫폼을 가지고 있다고 생각합니다. 수십억 명의 사용자와 수억 개의 비즈니스를 보유한 메타는 구글과 같이 가장 큰 배포 플랫폼이라고 생각합니다."라고 언급했습니다. 송의 평가는 메타가 수십억 명의 사용자와 수억 개의 비즈니스를 활용하여 거대한 배포 네트워크를 제공할 수 있는 역량에 기반했습니다.

이전에 다른 스타트업을 매각한 경험이 있는 송의 선택은 그녀의 회사의 기술이 메타의 방대한 사용자 기반과 결합하여 빠르게 확장될 수 있는 전략적 일치를 반영하며, 영향력과 추가 개발을 위한 강력한 수단을 제공합니다.

그는 "클라우드 컴퓨팅의 부상과 다양한 클라우드 플랫폼에 매우 많은 양의 ML 지향 컴퓨팅 배포가 있습니다. 따라서 소수의 사람들이 상당한 자본을 모아 스스로 구축할 필요 없이 해당 플랫폼을 사용할 수 있게 됩니다."라고 강조했습니다. 견고한 클라우드 컴퓨팅 서비스의 등장은 진입 장벽을 크게 낮추어 소규모 팀이 자체 인프라를 구축하고 유지할 필요 없이 방대한 양의 머신러닝 지향 컴퓨팅 성능에 액세스할 수 있도록 했습니다.

또한 스타트업은 대기업에 내재된 내부적인 방해 요소와 관료적 오버헤드를 피할 수 있습니다. 이러한 민첩성을 통해 스타트업은 과학 자동화와 같은 전문적인 엔지니어링 목표에 집중하여 대기업보다 효율적으로 혁신을 달성할 수 있습니다.