AI, 해킹 비용 0원·대상 무한 증식

AI 기술의 발전으로 해킹 공격 비용이 사실상 0원에 수렴하면서, 공격 대상이 무한히 증식하는 새로운 보안 환경이 도래했다. 이전에는 사람 해커가 시간과 비용 같은 리소스 제약으로 인해 공격 대상을 선별적으로 골랐다. 그러나 이제는 AI가 공격 과정을 자동화하여 수익만 남기는 공격이 가능해졌다.

이에 따라 예전에는 굳이 해킹 대상이 아니라고 생각했던 곳들도 공격 범위에 포함된다. 모든 기업과 기관이 해킹의 잠재적 대상이 된 상황에서 기존의 보안 패러다임으로는 대응하기 어려워졌다.

박세준 티오리 대표는 “근데 지금은 AI 시대가 오면서 공격 비용이 0에 수렴하는 쪽으로 가고 있는 거죠. 그렇기 때문에 예전에는 우리한테 굳이 우리를 왜 공격해 했던 곳들도 이젠 공격의 대상 안에 들어가게 됩니다”라고 밝혔다.

이러한 현상은 허깅페이스 조사 당시 두드러졌으며, 상용 모델들이 보안 연구에 필요한 협력을 거부하는 사례로 이어졌다. 박세준 대표는 “이게 해킹을 하려고 네가 물어보는 건지 아니면 이거를 방어하려고 물어보는 건지가 불분명한 거예요. 그것만 봤을 때는”이라고 설명했다.

GLM 모델은 오픈 웨이트(Open Weight) 방식으로 제공되어 사용자가 로컬 서버에 직접 설치하고 운영할 수 있는 유연함을 가졌다.

이를 통해 연구자들은 로컬 환경에서 모델을 구동하고 모든 로그 데이터를 직접 입력하여 분석할 수 있었다. 이러한 방식은 상용 모델의 제약을 우회하고 조사 속도를 높이는 데 결정적인 역할을 했다. 박세준 대표는 “그래서 결정한게 GLM 모델이었어요. 그거를 띄어서 그 모델한테 로컬에서 온프레미스로 돌려서 로그들 다 밀어넣고 이런 거 분석해 줘 갖고 도움을 받았어요”라고 밝혔다.

가까운 미래의 현실적인 사이버 위협은 악의적인 사람이 강력하고 똑똑한 AI 에이전트를 활용하는 경우에 발생할 것으로 예상된다. 단기적으로는 인간과 AI가 협력하여 공격과 방어를 수행하는 형태로 발전할 것이며, AI는 인간의 잠재력을 극대화하는 역할을 한다.

이는 공격자에게도 마찬가지로 적용되어, AI가 공격 효율을 대폭 향상시키는 도구로 사용될 수 있음을 의미한다. 박세준 대표는 “가까운 미래의 그런 현실적인 위협을 보면 악의적인 사람이 결국에는 악의적인 목적과 목표를 가지고 엄청나게 강하고 똑똑한 AI 에이전트를 활용하는 경우 이게 가장 큰 위협이라고 생각을 해요”라고 언급했다.

AI 시대에는 사람이 폭발적으로 늘어나는 AI 코드와 공격 환경을 감당하는 것이 사실상 불가능해진다. 전 세계적으로 보안 인재가 부족한 상황에서, 기존 인력만으로는 급증하는 위협에 대응할 수 없다. 따라서 AI의 기계적 속도에 맞춰 실시간으로 시스템을 검증하고 방어하는 것이 유일한 생존 전략으로 부상한다.

AI가 스스로 보안 취약점을 발견하고 대응하는 자동화된 시스템을 구축해야만 변화무쌍한 공격에 효과적으로 맞설 수 있다. 박세준 대표는 “앞으로 올 AI가 막 만들어 낼 코드와 환경과 액션들 사이에서 우리 환경을 안전하게 지키는 방법은 AI가 기계 속도에 맞춰서 검증을 해 나가고 방어를 하는 그게 유일한 미래라고 생각합니다”라고 강조했다.

에이전트가 필요로 하는 최소한의 권한만을 부여하여 잠재적 피해 범위를 줄여야 한다.

또한, 비인간 아이덴티티(Non-Human Identity)의 자격 증명 수명을 최소화하고, 외부 네트워크 연결(이그레스)을 철저히 제어하며 모니터링을 강화하는 것이 필수적이다.

이러한 원칙들은 보안 업계에서 수십 년 전부터 강조되어 온 기본적인 수칙이며, AI 시대에도 그 중요성이 변함없이 유지된다. 박세준 대표는 “그 에이전트 시대에서는 뭔가 최소 권한 그러니까 정말로 이 에이전트가 필요로 한 것만 주는 것 그게 되게 중요해지고 사실 그게 최소 권한의 원칙은 보안에서 항상 몇십 년 전부터 사실 했던 주 원칙이에요”라고 설명했다.

AI 에이전트들이 공격을 수행할 경우, 몇 초에서 몇 분 단위 안에 이미 모든 것이 끝날 정도로 공격 속도가 빨라진다. 과거 영화에서처럼 사람이 개입하여 공격을 인지하고 중단시키는 속도로는 대응할 수 없다.

따라서 공격을 자각하고 차단하는 속도를 얼마나 빠르게 단축할 수 있는지가 AI 시대 사이버 보안의 핵심 경쟁력이 된다. 박세준 대표는 “이제 앞으로 AI 에이전트들이 하게 되면 몇 초, 몇 분 단위에서 이미 게임이 끝날 거예요. 그럼 우리가 막 어 뭐 들어왔어 하기도 전에 이미 다 해킹을 당하고 탈취가 단항이 된다면 이제 그래서 그 몇 초, 몇 분 안에 이거를 자각하고 차단하고 하는 공격 대응에 대한 속도가 얼마나 빨라지고 짧아질 수 있는가가 경쟁력이 되고 보완성이 될 거라고 생각합니다”라고 강조했다.

보안성과 편의성은 상충 관계에 있어, 보안이 강화될수록 사용성과 가용성은 떨어지는 경향이 있다. 사용자들은 편리함을 추구하기 때문에, AI 기업들은 경쟁에서 우위를 점하기 위해 보안 장치를 해제하거나 완화하는 경우가 많다.

이러한 사용자의 편의성 요구가 해킹 사고의 주요 원인이 되기도 한다. 박세준 대표는 “보완성이 좋아지면 좋아질수록 사용성과 가용성은 좀 떨어집니다. 이게 좀 트레이드오프 관계예요”라고 설명했다.

AI 서비스 기업들은 사용자들이 이미 편리함에 익숙해진 상황에서, 경쟁사 서비스로의 이탈을 막기 위해 안전장치 도입에 소극적이다. 대신 ‘우리가 알아서 잘 관리하겠다’고 하며 안전장치를 제거하는 경향을 보인다.

그러나 AI 기반 세이프티 가드 도입은 필수적이며, 위험 요소를 식별하고 사용자의 의도를 파악한 후 위험할 경우 다시 확인하는 프로세스가 중요하다. 박세준 대표는 “요즘에는 이제 AI 회사들이 다시 또 막 안전 장치들을 넣기에는 사용자들이 이미 익숙해졌고 편해졌기 때문에 그거를 안 하면 아 얘는 안 써네 거 쓰니까 그냥 해 주던데 그 막 옮겨 가는 거야. 그러니까 그거를 맡기 위해서 기업들이 어쩔 수 없이 그냥 걱정하지 말고 다 주세요. 저희가 알아서 잘 관리할게요를 하는데 이제 그게 세이프티 가드들이 들어가요”라고 말했다.

AI는 본질적으로 확률적인 토큰 생성기로 작동하며, 항상 동일한 결과값을 내지 않는 비확정적인 특성을 지닌다. 이러한 태생적 한계로 인해 AI는 예측 불가능한 오작동 리스크를 항상 내포하고 있다.

따라서 AI를 활용하는 시스템에서는 주요 자산 관리와 권한 분리를 철저히 하여 예상치 못한 상황에 대비해야 한다. 박세준 대표는 “태생적으로 결국엔 확률적인 토큰 생성기기 때문에 어떻게 보면 저희 업계 용어로는 난 디터미니스트, 비확정적인 그런 특성을 뛸 수밖에 없어요”라고 설명했다.

AI 기술의 발달로 해킹 대상이 무한히 증식하면서 방어자에게는 전례 없는 어려움이 따르고 있다. 과거에는 공격자가 제한된 리소스로 선택적인 공격을 했지만, AI는 스스로 알려지지 않은 취약점을 탐색하고 기업을 찾아내 전 범위 공격을 실행한다. 이에 따라 방어자 관점에서의 보안 범위는 사실상 무한대로 확대되었다.

박세준 대표는 “예전에는 10개만 골랐어야 됐지만 전 100개 다 안 할 이유가 없어요. 그렇기 때문에 예전에는 우리한테 굳이 우리를 왜 공격했던 곳들도 이젠 공격의 대상 안에 들어가게 됩니다”라고 밝혔다. 이는 모든 시스템이 잠재적인 공격 대상이 될 수 있음을 의미한다.

과도한 권한 부여, 자격 증명 방치, 메타데이터 노출 등이 주요 사고 원인으로 지목된다.

따라서 시스템 설계 단계부터 보안을 고려하는 '시큐어 바이 디자인'과 같은 기본기에 충실하는 것이 중요하다.

박세준 대표는 “왜 해킹을 당했고 침해를 당했는지 보면 막 엄청나게 뛰어난 이거 외계 기술 아니야 한 걸로 해킹 당한 경우는 거의 없습니다. 기본적인 보안이 잘 안 돼서가 많아요”라고 설명하며 기본의 중요성을 강조했다.

박세준 대표는 이를 '우유 투입구'에 비유하며, 신문이나 우유를 받기 위해 열어둔 구멍이 예상치 못한 공격 통로가 될 수 있음을 설명했다.

공격자는 방어자가 의도하지 않은 경로를 탐색하여 시스템에 침투할 수 있으므로, 모든 통로와 연결 지점에 대한 철저한 보안 점검이 필요하다. 박세준 대표는 “우리가 자물쇠에 20개 걸어 놔도 그런 구멍이 이렇게 사용될 수 있다라는 걸 보니까 그 의도가 아니었어도 어 이건 내가 우유 받거나 아니면 뭐 신문 받으려고 열어 놓은 구멍인데 그걸로 설마 공격을 하겠어라고 한 것들조차도 공격의 통로로 쓸 수 있기 때문에”라고 언급했다.

보안 검증 방식은 상황에 따라 유연하게 설정할 수 있다. 반복적인 자동 검증, 새로운 코드가 배포될 때마다 트리거되는 방식, 또는 필요에 따라 수동으로 실행하는 방식 등 다양한 선택지가 존재한다.

이는 기업의 운영 환경과 보안 정책에 맞춰 최적의 검증 주기를 설정할 수 있도록 돕는다. 박세준 대표는 “저희가 그거를 반복적으로 계속해서 할 수 있도록 할 수도 있고 아니면 우리가 새로운 코드가 뭐 배포될 때마다만 트리거를 할 수도 있고 아니면 아 오늘 거 한번 돌려봐야 되겠는데 생각이 들어서 매뉴얼하게 실행을 하실 수도 있어요”라고 설명했다.

만약 열 개 중 두 개라도 잘못 패치되어 장애가 발생하면 큰 사고로 이어진다.

따라서 방어는 시민을 보호하면서 악성 공격을 막아야 하는 고난도 작업이며, 패치 시에는 완벽한 수정과 재검증이 필수적이다.

박세준 대표는 “방어는 패치는 우리가 열 개가 있는데 그중에 두 개는 잘못 패치를 해서 장애가 나잖아요. 그럼 큰 사고입니다. 그래서 패치는 열 개를 했으면 열 개가 다 완벽하고 안전해야 돼요”라고 설명했다.

크레덴셜 스터핑은 사용자가 여러 서비스에 동일한 비밀번호나 사용자 ID를 사용하는 취약점을 공략하여, 한 곳의 정보가 유출되면 다른 서비스에도 무단으로 접근할 수 있는 공격 기법이다.

유출된 개인 데이터를 기반으로 한 개인화된 피싱 공격은 더욱 정교하고 위협적이다. 병원 수술 및 진료 기록 등 민감한 정보가 악용될 경우 심각한 2차 피해가 발생할 수 있다.

비밀번호를 공공재처럼 재사용하는 행위는 은행 계좌 탈취와 같은 더 큰 금융 피해로 이어질 수 있으므로 각별한 주의가 필요하다. 박세준 대표는 “그니까 크레덴셜 스터핑이라고 하는 공격 기법인데 일반적으로 같은 비밀 번호를 여러 번 쓰거나 유저 아이디가 똑같거나 이러기 때문에 하나를 털어서 알게 되면 그걸 다른 곳에도 시도를 해 볼 수 있고 다른 곳은 서비스를 해킹하지 않아도 들어갈 수 있는 거예요”라고 설명했다.

AI 도입 초기에는 공격자가 방어자보다 항상 한 발 앞서 움직이므로, AI를 악용한 공격 피해 규모가 단기간 내에 급증할 것으로 예상된다. 모든 기업이 AI 흐름에 맞춰 보안 시스템을 갖추기는 어려워, 공격자들이 기회를 이용해 많은 피해를 입힐 수 있다.

AI가 작성한 코드의 검증 부재와 기존의 취약한 코드들을 학습한 AI가 잘못된 패턴을 답습하는 문제 또한 보안 취약점의 주요 원인이 된다. 박세준 대표는 “단기간적으로는 이런 흐름을 모두가 다 따라갈 수 있는게 아니고 또 공격자들은 항상 또 한 발씩 좀 더 빠르기 때문에 기회가 있을 때 많이 피해들을 입힐 거라 단기간적으로 봤을 때는이 AI로 인한 공격의 확산이나 피해의 규모가 급속도로 커질 거라고 생각은 해요”라고 말했다.

티오리는 마이크로소프트, 구글, 메타 등 글로벌 IT 기업들과 협업하며 AI 시대의 보안 문제 해결에 기여하고 있다. 이들은 크고 작은 모든 기업들이 감당 가능한 비용으로 보안성을 향상시킬 수 있는 제품을 개발하여 글로벌 시장을 공략하고 있다. 박세준 대표는 기술로 세상을 안전하게 만들겠다는 비전을 통해 한국 보안 기업의 글로벌 경쟁력을 입증하고자 한다.