AI의 회사 기밀 유출 방지

내부 AI 시스템인 회사 브레인을 개발할 때 주요 우려 사항은 민감한 정보 유출 위험입니다. Tanmai Gopal은 인턴이 보상 세부 정보를 볼 수 있는 무단 접근과 같은 중대한 우려가 있다고 강조합니다. 이러한 보안 취약성은 현재 PromptQL 또는 Hermes와 같은 기업 AI 시스템의 광범위한 채택에 가장 큰 장애물로 작용하고 있습니다.

PromptQL 팀은 인기 있는 오픈 소스 프로젝트인 Hasura GraphQL 엔진 개발 경험을 통해 복잡한 데이터 접근 문제를 관리하는 데 상당한 전문 지식을 보유하고 있습니다. 이 경험에는 Apple, Meta, JP Morgan과 같은 주요 기업의 복잡한 데이터 접근 문제 해결이 포함됩니다. 이들 유명 고객과의 경험은 기업 AI 시스템을 보호하는 PromptQL의 접근 방식을 형성했습니다.

AI 시스템을 도입하는 기업은 세 가지 유형으로 나뉘며, 각기 고유한 보안 요구사항을 가집니다. AI 네이티브 기업은 기능성을 최우선으로 여기며, 효과적으로 작동하기만 한다면 어떤 솔루션이든 기꺼이 구현합니다. Instacart와 같은 기술 선도 기업은 최고 수준의 기술을 추구하고 민첩하게 운영합니다. 그러나 포춘 선정 은행들은 매우 민감한 금융 데이터를 보호하기 위해 엄격한 보안 규정을 부과합니다.

PromptQL은 약 5,000개의 상호 연결된 페이지로 구성된 위키로 내부 회사 브레인을 모델링합니다. 회사 브레인은 GitHub에 저장된 마크다운 파일이나 복잡한 지식 그래프를 포함하여 다양한 방식으로 구성될 수 있습니다. 이 위키 기반 접근 방식은 정보의 유연한 구성 및 검색을 가능하게 합니다.

AI 회사 브레인의 업데이트 빈도 일관성은 시스템의 건강과 지속적인 유용성을 나타내는 핵심 지표입니다. 일일 업데이트 수를 그래프로 나타내면 다양한 트렌드가 나타나며, 각각 시스템 참여의 고유한 상태를 보여줍니다. 감소하는 트렌드는 일반적으로 시스템 배포 후 사용자들의 초기 열정이 식었음을 의미하며, 이는 시스템이 일상 업무 흐름에 효과적으로 통합되지 않았음을 나타낼 수 있습니다. 반대로, 변동하는 트렌드는 특정 작업이나 사용자 관심사에 따라 활동이 급증하거나 감소하는 개별 사용자 참여 수준의 변화를 나타냅니다. 가장 바람직하게는 꾸준히 증가하는 트렌드는 시스템이 지속적으로 성장하고 발전하며, 지속적인 사용자 채택과 시간이 지남에 따라 가치가 증가하는 강력하고 효과적인 자체 학습 시스템임을 의미합니다.

건강한 회사 브레인은 일일 업데이트에서 특정 성장 패턴을 보여주며, 이는 유용성과 사용자 참여 증가를 반영합니다. 사용자가 AI 에이전트에게 더 많은 기술을 가르칠수록 일일 업데이트 수는 시간이 지남에 따라 꾸준히 증가하는 경향이 있습니다. 처음에는 에이전트가 데이터 쿼리와 같은 기본적인 작업에 투입될 수 있습니다. 그러나 시스템이 성숙해지면서 사용자들은 데이터 해석이나 A/B 테스트 수행과 같은 더 복잡하고 후속적인 작업을 할당하기 시작하며, 이는 일일 업데이트 볼륨을 더욱 증가시킵니다. 이러한 지속적인 기능 확장은 건강한 브레인이 시스템 활동에서 완만하고 꾸준한 상승 곡선을 보여주도록 하여 지속적인 학습과 효과적인 통합을 나타냅니다.

회사 브레인은 기업 환경에서 주로 두 가지 주요 사용 사례 범주로 배포됩니다. 한 가지 범주는 복잡한 보안 설문지에 신속하게 답변하는 것과 같이 특수 작업을 위한 개별 유틸리티를 포함하며, AI는 특정하고 조직화된 지식에 대한 빠른 접근을 제공합니다. 두 번째이자 더 넓은 범주는 Slack과 같은 통신 도구에 통합된 AI 에이전트를 통해 종종 촉진되는 공유 협업 사용이며, 팀이 집단 지능을 활용할 수 있도록 합니다. 이 협업 영역의 중요한 응용 프로그램은 인시던트 관리로, AI 시스템이 작업 흐름을 간소화하고 팀 전체 위기 동안 중요한 정보를 제공하여 전반적인 운영 효율성을 향상시킬 수 있습니다.

회사 브레인 아키텍처는 공유 컨텍스트로 정의되며, 일반적으로 마크다운 파일 모음에 저장됩니다. 이 공유 컨텍스트에는 코딩 에이전트가 다양한 데이터 소스 및 도구와 상호 작용하는 방식을 제어하는 접근 제어 규칙도 포함됩니다. 이 특정 아키텍처 설계는 범용 AI 모델이 아닌 코딩 에이전트에 명시적으로 맞춰져 제어되고 안전한 운영을 보장합니다.

PromptQL의 회사 지식 시스템 구축 전략은 전체 조직을 위한 거대하고 중앙 집중식 지식 그래프를 구축하는 전통적인 접근 방식을 명시적으로 거부하며, 그러한 시스템은 역사적으로 실패했으며 앞으로도 계속 실패할 것이라고 주장합니다. 대신, 그들의 시스템은 코드를 통해 일반적인 문제를 해결할 수 있는 에이전트를 개발하는 데 중점을 두며, 이는 적응하고 진화할 수 있습니다. 핵심 제안은 회사 내 각 개인이 회사 브레인의 특정 관련 부분을 소유하고 구축할 책임이 있는 분산 모델입니다. 이 접근 방식은 단일하고 거대한 전사적 지식 그래프를 만드는 실행 불가능한 작업과 대조되며, 대신 조직 지식의 유기적이고 분산된 성장을 촉진합니다.

내부 회사 지식을 관리하기 위한 중요한 보안 조치에는 세분화된 파일 수준 접근 제어 구현이 포함됩니다. 이는 회사 위키 내의 모든 파일에 대한 명시적인 읽기 및 쓰기 권한을 정의하는 것을 의미합니다. 이러한 시스템은 사용자가 특정 정보에 접근할 수 있는 사람을 정확하게 제어하여 민감한 데이터의 무단 조회 또는 수정을 방지합니다.

회사 브레인 내의 정확성과 책임성을 유지하려면 AI 메모리의 자동 추가를 비활성화하는 것이 중요합니다. 이 규칙은 에이전트가 인간의 감독 없이 시스템에 정보를 자율적으로 추가하는 것을 방지합니다. 인간 참여를 요구함으로써 조직은 어떤 정보가 기록되고 있는지에 대한 완전한 가시성을 유지하고, 정확성을 보장하며, 잘못된 데이터의 확산을 방지하고, 모든 지식 기여에 대한 책임성을 유지합니다.

지식 관리에 AI를 통합하기 위한 권장 접근 방식은 에이전트가 적절한 보안 범위를 포함한 콘텐츠를 제안하고, 인간이 이를 승인하도록 하는 것입니다. 이 방법은 전적으로 수동적인 풀 리퀘스트(PR) 검토와 완전히 통제되지 않는 자동화 사이의 중요한 중간 지점을 제공합니다. 에이전트가 무엇을 어떤 권한으로 추가할지 제안하도록 함으로써, 인간 의사 결정자는 제안된 변경 사항을 효율적으로 수락하거나 거부할 수 있으며, 콘텐츠 생성에 AI를 활용하면서도 정확성과 보안을 보장합니다.

지식 업데이트를 검증하기 위한 간소화된 워크플로우는 AI 에이전트가 콘텐츠를 제안하고, 사용자가 이를 검토하고 승인하는 과정을 포함합니다. 예를 들어, AI는 이메일 스레드를 분석하여 위키에 추가할 항목 목록을 제안할 수 있습니다. 그러면 사용자는 기술적인 형식 지정보다는 내용에 집중하여 이러한 사실의 정확성을 신속하게 검토하고, 새 정보가 공식적으로 추가되기 전에 특정 보안 범위를 할당할 수 있습니다. 이 과정은 인간의 감독을 유지하면서 지식 기여를 크게 단순화하고 가속화합니다.

회사 전체 위키를 유지하기 위한 기본적인 규칙은 모든 항목과 변경 사항이 특정 인간 소유자에게 명시적으로 연결되어야 한다는 것입니다. 이는 콘텐츠 추가가 '클로드' 또는 '헤르메스'와 같은 AI 에이전트에게 일반적으로 귀속될 수 없으며, 대신 '탄메가 이를 추가했습니다.'와 같이 기록되어야 한다는 의미입니다. 이 필수적인 인간 귀속은 위키 내의 모든 정보에 대한 명확한 책임성을 보장합니다. 민감한 데이터 유출이 발생할 경우, 이 시스템은 즉각적인 시정 조치와 책임의 명확한 식별을 가능하게 하여 지식 기반의 무결성과 보안을 강화합니다.

에이전트의 보안 아키텍처는 에이전트가 작업을 수행하기 위해 컨텍스트를 읽을 때 특정 사용자의 클레임을 사용해야 한다고 규정합니다. 이는 사용자가 재무 문제를 해결하는 경우, 에이전트가 해당 사용자의 재무 클레임을 사용하여 마치 사용자 자신인 것처럼 정보에 접근한다는 의미입니다. 이 메커니즘은 에이전트가 정보를 시작하는 사용자가 이미 볼 권한이 있는 정보에만 접근하도록 보장하여 엄격한 보안 프로토콜을 유지하고 무단 데이터 노출을 방지합니다.

AI 시스템은 비효율적인 쿼리를 비판적으로 평가하고 반복 학습을 통해 개선 사항을 제공함으로써 문제 해결을 크게 향상시킬 수 있습니다. 예를 들어, AI는 특정 작업에 대해 'like' 쿼리보다 'equals to' 쿼리가 더 효율적이라는 것을 식별하여 지식을 표면화할 수 있습니다. 시스템은 오류를 유발하는 특정 코드 줄을 찾아낼 수 있으며, 이러한 상호 작용을 통해 에이전트는 학습하고 이후 지속적인 지식 업데이트를 제공하여 자체 성능과 시스템의 전반적인 효율성을 향상시킵니다. 이 과정은 AI의 자체 비판 및 문제 해결 능력 진화 능력을 보여줍니다.

여러 작업을 수행할 수 있는 자율 에이전트는 특히 권한 에스컬레이션과 관련하여 상당한 보안 위험을 초래합니다. 엔지니어가 동일한 AI 에이전트를 디버깅 작업에 사용한 다음, 적절한 확인 없이 프로덕션 환경에 코드를 배포하는 데 사용하는 것은 위험합니다. 이러한 통합 기능은 심각한 보안 침해로 이어질 수 있으며, 특히 은행과 같이 엄격한 책임 분리를 요구하는 고도로 규제되는 부문에서 더욱 그렇습니다. 이러한 위험을 완화하기 위해 연사는 HTTP/SQL 계층에 사용자 자격 증명을 주입하여 자율 워크플로우 내에서도 접근이 사용자의 특정, 제한된 권한과 일치하도록 보장하여 안전과 책임성을 유지할 것을 제안합니다.

AI 안전, 특히 자격 증명 및 컨텍스트 관리를 보장하기 위한 핵심 아키텍처 원칙은 두 가지 규칙으로 요약될 수 있습니다. 첫째, AI가 작동하는 클라우드 샌드박스 내에 사용자 자격 증명을 저장해서는 안 됩니다. 둘째, 실제 데이터와의 모든 상호 작용은 직접이 아닌 프록시 계층을 통해 가상화되어야 합니다. 이러한 규칙은 사용자가 개별 자격 증명을 기반으로 특정 도구에 대한 접근을 제어하도록 보장하여 민감한 정보 및 작업을 격리함으로써 보안을 크게 강화합니다.