음향 키스트로크 공격: AI, 키보드 소리로 비밀번호 훔친다

AI와 머신러닝(ML)은 도덕적 이중성을 가지고 있으며, 긍정적인 활용 가능성만큼이나 부정적인 오용 위험도 크다는 지적이 나왔습니다. 데이비드 폰테넨은 "AI와 ML의 도덕적 이중성 또는 모호성"을 첫 번째 주제로 제시하며, 자신이 음향 키스트로크 로거를 만드는 방법을 시연할 것이라고 밝혔습니다.

이러한 기술 시연은 단순히 해킹 방법을 공유하는 것이 아니라, 잠재적인 위협을 이해하고 이에 대한 방어책을 마련하기 위함이라고 강조했습니다. AI 기술이 발전하면서 예측하지 못한 방식으로 악용될 가능성이 커지고 있으며, 이에 대한 경각심을 높이는 것이 중요하다고 폰테넨은 덧붙였습니다.

일론 머스크는 AI와 ML이 제조 및 건설 비용을 낮춰 모두에게 보편적인 고소득을 가져올 것이라고 주장하지만, 폰테넨은 이러한 낙관론에 회의적인 입장을 표명했습니다. 그는 자원에는 한계가 있으며, 페라리를 모두가 가질 수 없는 것처럼 AI 발전이 모든 사람에게 고소득을 보장하지는 않을 것이라고 지적했습니다.

폰테넨은 기술 발전이 가져올 사회적 변화에 대한 보다 현실적인 접근이 필요하다고 강조하며, AI의 혜택이 특정 계층에만 집중될 수 있는 가능성을 경고했습니다.

AI가 윤리적으로 오용될 수 있는 구체적인 사례로 식료품 가격 조작이 언급되었습니다. 미국 일부 식료품점에서는 디지털 가격표를 사용하여 머신러닝 알고리즘으로 소비자가 특정 상품에 지불할 최대 금액을 계산하고, 이에 맞춰 가격을 실시간으로 변경한다는 것입니다. 이는 요일이나 시간대에 따라 가격이 달라지는 방식으로 구현됩니다.

폰테넨은 "퇴근 후 들르면 다른 곳에서 쇼핑하기에 너무 피곤할 수 있으므로 가격을 올린다"는 예를 들며, 머신러닝이 소비자의 약점을 이용해 가격을 조작하는 극단적인 부정적 사례라고 비판했습니다. 그는 이러한 방식이 "끔찍하다"고 단언하며 AI의 윤리적 적용에 대한 강력한 통제가 필요하다고 강조했습니다.

폰테넨은 키보드 타이핑 소리를 분석하여 입력된 내용을 알아내는 '음향 키스트로크 공격'의 구현을 설명하며, 이는 방어를 위해 위협을 이해하는 것이 중요하다는 점을 강조했습니다. 그는 이 기술이 '키보드에 대한 실용적인 딥러닝 기반 음향 측면 채널 공격'이라는 연구 논문을 기반으로 하며, 자신은 이를 구현하고 효율성을 높이기 위한 개선 작업을 진행했다고 밝혔습니다.

폰테넨은 이 기술을 모두가 사용할 수 있도록 공개하는 것이 방어책을 마련할 기회를 제공한다고 설명했습니다. 그는 "이것이 좋든 나쁘든, 방어하기 위해서는 이해해야 하기 때문에 모든 사람이 이것을 사용할 수 있도록 하는 것이 방어책을 마련할 기회를 준다고 생각한다"고 말하며, 위협을 숨기기보다 드러내어 대응을 유도하는 방식의 중요성을 강조했습니다. 이러한 접근은 잠재적 위험에 대한 인식을 높이고 보안 강화 노력을 촉진할 수 있습니다.

머신러닝 모델이 총소리를 감지하여 경찰이 신속하게 대응할 수 있도록 돕는 기술은 긍정적인 사례로 제시되었습니다. 하지만 이러한 모델은 도시 환경에서 총소리와 유사하게 들릴 수 있는 다른 소리, 예를 들어 자동차 백파이어 소리나 불꽃놀이 소리와 같은 것들을 정확히 구별해야 한다는 과제를 안고 있습니다.

폰테넨은 "비슷하게 들릴 수 있는 다른 유형의 소리들과 구분할 수 있어야 한다"고 강조하며, 오탐지(false positive)를 줄이고 정확도를 높이기 위한 정교한 AI 모델 개발의 중요성을 언급했습니다. 이는 AI 기술이 실제 생활에 적용될 때 발생할 수 있는 오류와 그 파급효과를 최소화하기 위한 필수적인 고려사항입니다.

머신러닝 문제 해결의 출발점은 항상 데이터 세트입니다. 음향 키스트로크 공격 모델 훈련을 위해 두 가지 데이터 세트가 사용되는데, 첫 번째는 '키스트로크 노이즈리스 파이널'이라는 데이터 세트입니다. 이 데이터 세트는 2024년 싱가포르 해커톤에서 사용되었으며, 단일 키보드의 어쿠스틱 시그니처(음향 서명)를 분석하여 어떤 글자가 눌렸는지 분류하는 데 초점을 맞추고 있습니다.

단일 키보드의 소리 특징을 학습함으로써 모델은 특정 키보드 환경에서의 키 입력 예측 정확도를 높일 수 있습니다. 이는 복잡한 다중 키보드 환경으로 확장하기 전의 기초 단계로, 모델의 기본 성능과 패턴 인식 능력을 확립하는 데 중요한 역할을 합니다.

음향 키스트로크 모델 구축의 핵심은 RGB 3개 채널을 이용한 스펙트로그램 이미지 분석입니다. 스펙트로그램은 소리의 주파수, 시간, 강도를 시각적으로 표현한 것으로, 각 픽셀의 RGB 값으로 시간과 주파수에서 픽셀 강도를 매핑합니다. 이를 통해 소리의 미세한 패턴을 이미지 형태로 변환하여 머신러닝 모델이 학습할 수 있도록 합니다.

폰테넨은 파이토치(PyTorch)를 사용하여 스펙트로그램 이미지의 패턴을 감지하는 머신러닝 모델을 만들고 있다고 설명했습니다. 모델 훈련 과정에서는 견고성을 높이기 위해 노이즈를 추가하거나 시간 이동을 시켜 가변성을 도입하는 등 다양한 기법이 적용됩니다. 이는 실제 환경에서 발생할 수 있는 다양한 잡음과 변화에 모델이 더 잘 대응하도록 하기 위함입니다. 스펙트로그램 이미지를 활용하는 것은 소리 데이터를 시각 데이터로 전환하여 강력한 이미지 처리 기술을 가진 딥러닝 모델을 활용할 수 있게 하는 효과적인 방법입니다.

머신러닝 모델을 구축할 때 데이터 세트 분할은 필수적인 과정입니다. 일반적으로 전체 데이터를 훈련 데이터, 검증 데이터, 테스트 데이터로 나눕니다. 폰테넨은 "훈련 데이터 80%, 검증 데이터 10%, 테스트 데이터 10%"로 나누는 것이 일반적인 비율이라고 설명했습니다.

훈련 데이터는 분류기를 구축하는 데 사용되며, 모델이 특정 패턴과 규칙을 학습하는 데 기반이 됩니다. 검증 데이터는 모델의 정확도를 연마하는 데 사용되어 과적합(overfitting)을 방지하고 최적의 성능을 찾도록 돕습니다. 마지막으로 테스트 데이터는 모델이 새로운, 보지 못한 데이터에 대해 얼마나 정확한지 최종적으로 검증하는 데 사용됩니다. 이는 모델이 실제 환경에서 얼마나 잘 작동할지를 평가하는 중요한 단계입니다. 즉, A, B, C 등의 키 입력에 대해 모델이 얼마나 정확한지 확인하는 것이 목표입니다.

음향 키스트로크 로깅 모델의 훈련은 실제 다중 키보드 환경에서 소리를 수집하여 진행되었습니다. 폰테넨은 레노버, HP, 애플, MSI 등 다양한 제조사의 키보드에서 데이터를 수집했다고 밝혔습니다. 특히 흥미로운 점은 Zoom과 Messenger와 같은 화상 회의 및 메시징 플랫폼을 통해 녹음된 키보드 소리도 데이터 세트에 포함되었다는 것입니다. 이 점은 마이크 음소거를 해제한 상태에서 타이핑하는 행위가 잠재적인 보안 위험이 될 수 있음을 경고합니다. 폰테넨은 "마이크 음소거를 해제하고 타이핑한다면 조심해야 한다는 경고"라며, 반드시 마이크를 음소거할 것을 당부했습니다.

이러한 데이터 세트는 다양한 환경과 키보드 유형에서 발생하는 키 입력 소리를 학습하여, 더 현실적이고 강건한 음향 키스트로크 로깅 모델을 개발하는 데 활용됩니다. 이를 통해 공격자는 특정 키보드나 환경에 국한되지 않고 광범위하게 공격을 시 시도할 수 있는 잠재력을 가지게 됩니다. 따라서 사용자들은 온라인 환경에서 마이크 사용 시 더욱 주의를 기울여야 할 필요가 있습니다.

다중 키보드 환경에서 음향 키스트로크 예측 모델의 정확도가 크게 하락하는 현상이 나타났습니다. 폰테넨은 단일 키보드 환경에서 거의 100%에 달했던 정확도가 다중 키보드 환경에서는 가장 확신 있는 분류('H' 문자)에 대해 약 48%로 떨어졌다고 밝혔습니다. 두 번째 추측인 'G'는 24%의 신뢰도 점수를 보였습니다.

이러한 정확도 하락은 실제 환경의 다양성과 복잡성을 반영하는 결과입니다. 다양한 키보드 종류, 사용자별 타이핑 습관, 주변 소음 등이 예측 정확도를 저하시키는 요인으로 작용합니다. 그러나 폰테넨은 상위 K개 예측(예: 상위 5개 예측)을 통해 여전히 의미 있는 정보를 얻을 수 있음을 강조하며, 이 개념이 나중에 활용될 것이라고 덧붙였습니다.

음향 키스트로크 모델의 예측 능력을 시연하기 위해 'Hello people'이라는 문장을 타이핑하는 시뮬레이션이 진행되었습니다. 모델은 각 키 입력 소리를 분석하여 가능한 문자를 예측했습니다. 첫 번째 예측은 'h'였고, 이어서 'e', 'l', 'l', 'o', '스페이스바', 'p', 'o', 'p', 'l', 'e' 순으로 예측이 진행되었습니다.

폰테넨은 이렇게 예측된 문자열을 분류기에 통과시켜 어떤 결과가 나오는지 확인할 것이라고 밝혔습니다. 이 시뮬레이션은 모델이 개별 키 입력뿐만 아니라 문맥을 고려하여 실제 단어나 문장을 구성할 수 있는지 보여주는 중요한 단계입니다. 비록 개별 키 예측 정확도가 100%가 아니더라도, 문맥 정보를 활용하면 전체 문장을 성공적으로 유추할 가능성이 있습니다.

타이핑 시뮬레이션 후 예측된 문자열을 기반으로 가능한 모든 철자 조합을 확인하는 과정이 이어졌습니다. 폰테넨은 파이썬(Python)으로 철자 검사를 실행하여, 예측된 문자열에서 발생할 수 있는 다양한 순열들을 검토할 것이라고 밝혔습니다.

이 과정은 모델이 정확하게 예측하지 못한 부분이 있더라도, 철자 검사기를 활용하여 실제 단어로 복원할 가능성을 탐색하는 것입니다. 예를 들어, 'Hello people'에서 몇 개의 문자가 틀리게 예측되었더라도, 철자 검사기는 가장 근접한 올바른 단어를 제안하여 예측의 정확도를 간접적으로 높일 수 있습니다. 정확히 일치하는 단어는 콘솔에 출력되고, 흥미로운 다른 순열들도 함께 분석될 예정입니다.

단순한 철자 검사를 넘어, 문맥을 활용하여 단어를 예측하는 '매드 립스(Mad Libs)' 게임의 아이디어가 도입되었습니다. 매드 립스는 문맥을 모르는 상태에서 형용사나 명사를 무작위로 채워 넣어 재미있는 문장을 만드는 게임입니다. 폰테넨은 이 게임의 개념을 AI에 적용하여, 빈칸으로 표시된 부분에 문맥상 가장 적절한 단어를 예측하는 방식을 설명했습니다.

이 방법은 음향 키스트로크 공격 모델이 개별 키 예측의 낮은 정확도를 보완하고, 전체적인 문장 구조와 의미를 파악하여 더 정확한 단어를 유추하도록 돕습니다. 예를 들어, 특정 키 입력이 불분명하더라도 주변 단어들의 문맥을 통해 어떤 단어가 들어갈지 확률적으로 예측할 수 있게 되는 것입니다. 이는 예측의 정확도를 높이는 데 매우 효과적인 전략이 될 수 있습니다.

머신러닝 분야에서 46%의 정확도는 일반적으로 낮은 수치로 평가되지만, 음향 키스트로크 공격과 같은 특정 경우에는 매우 훌륭한 성과로 간주될 수 있다는 분석이 나왔습니다. 폰테넨은 "일반적인 기계 학습 분야에서는 46%의 정확도는 형편없는 수준입니다"라고 인정하면서도, "하지만 이 특정 경우에는 매우 훌륭한 성과입니다"라고 강조했습니다.

그는 이러한 평가의 근거로 무작위로 글자를 추측할 경우 38분의 1(약 2.6%)의 확률에 불과하다는 점을 들었습니다. 46%의 정확도는 무작위 추측보다 훨씬 높은 수치로, 이는 공격자가 키보드 소리만으로도 상당한 정보를 얻을 수 있음을 의미합니다.

따라서 비록 절대적인 수치로는 낮아 보여도, 무작위성을 극복하고 유의미한 예측을 가능하게 한다는 점에서 이 모델의 46% 정확도는 실제 공격에 활용될 수 있는 충분한 수준의 위협이 될 수 있음을 시사합니다.

음향 키스트로크 공격 모델의 예측 정확도를 더욱 높이기 위한 개선 방안으로 사용자별 타이핑 방식과 습관을 반영하는 것이 제시되었습니다. 폰테넨은 현재 모델이 소리를 독립적으로 포착하지만, 실제 타이핑은 서로 연결된 흐름 속에서 이루어진다는 점을 지적했습니다. 예를 들어, 많은 사람들이 홈 키에 손가락을 놓고 더 빠르게 타이핑하며, 이는 각 키 소리에 영향을 미칩니다.

이를 개선하기 위해서는 타이핑 흐름을 고려하고, 여러 사용자를 확보하여 무거운 터치와 가벼운 터치 등 사용자별 타이핑 강도와 스타일의 차이를 모델 학습에 반영해야 합니다. 이러한 세분화된 학습을 통해 모델은 특정 사용자의 타이핑 습관을 더 정확하게 파악하고, 예측 정확도를 크게 향상시킬 수 있을 것입니다. 이는 실제 환경에서의 공격 성공률을 높이는 중요한 요소가 됩니다.

소리 기반 해킹 위협으로부터 자신을 보호하기 위한 실질적인 전략들이 제시되었습니다. 첫째, 2단계 인증(2FA)을 적극 활용해야 합니다. 폰테넨은 YubiKey와 같은 물리적 보안 키 사용을 강력히 권장하며, "그들이 듣고 타이핑하더라도 암호 파일을 열려면 YubiKey가 필요하다"고 설명했습니다. SMS 기반 2단계 인증은 펨토셀이나 가짜 핫스팟 등 통신 감청에 취약할 수 있으므로 안전하지 않다고 경고했습니다.

둘째, 공용 와이파이 사용 시 주의해야 합니다. 폰테넨은 "기본적으로 휴대폰이 가짜 핫스팟에 더 가까우면 이 가짜 핫스팟의 소유자가 사용자가 타이핑하는 모든 것, 하는 모든 것, 오가는 모든 트래픽을 도청할 수 있다"고 설명하며, 공용 네트워크에서의 보안 위협을 강조했습니다. 이처럼 물리적 보안 키 사용과 네트워크 환경에 대한 주의가 소리 기반 해킹으로부터 개인 정보를 보호하는 데 필수적입니다.

강력한 패스워드 관리 전략으로 "자신이 모르는 비밀번호를 사용하라"는 다소 역설적인 조언이 제시되었습니다. 폰테넨은 온라인 서비스가 아닌 인터넷에 연결되지 않은 오프라인 비밀번호 생성 서비스를 이용해 무작위의 복잡한 비밀번호를 만들 것을 권장했습니다. 이는 사회 공학적 공격(예: 좋아하는 팀, 자녀 이름)으로 비밀번호가 추측되는 것을 막기 위함이라고 설명했습니다. 자신이 아는 정보 기반의 비밀번호는 경우의 수를 크게 줄여 공격에 취약하게 만듭니다.

또한, 모든 플랫폼에 다른 비밀번호를 사용하는 것이 필수적이라고 강조했습니다. 하나의 계정이 유출되면 다른 모든 계정이 위험해질 수 있기 때문입니다. 폰테넨은 "모든 은행 계좌에 같은 비밀번호를 사용한다면, 하나가 유출되면 모든 계좌가 유출될 가능성이 있습니다"라고 경고했습니다.

마지막으로 비밀번호를 자주 변경하는 것이 중요하다고 언급했습니다. 비록 힘들고 번거롭지만, "90일마다 회사에서 변경하라고 할 것입니다. 이것이 바로 32자 길이의 해독 불가능한 비밀번호를 주기적으로 변경하는 아이디어입니다"라고 말하며 주기적인 변경의 중요성을 역설했습니다. 이 세 가지 원칙은 현대 사이버 보안 환경에서 개인 정보를 보호하는 핵심 요소입니다.

애플이 안면 미세 움직임을 해석하는 기술을 가진 스타트업 QAI를 인수한 소식이 전해지며, 미래 웨어러블 기기의 감시 기능에 대한 우려가 제기되었습니다. 폰테넨은 2026년 1월 29일 기사를 인용하며, 애플이 이 기술을 통해 안면 움직임과 입술만으로 사람이 말하는 것을 감지할 수 있는 '독순술' 기능을 개발할 수 있다고 주장했습니다.

그는 "피해망상이라고 생각하시겠지만, 이것이 애플이 이어버드에 카메라를 넣으려는 이유 중 하나일 수 있습니다. 그리고 실제로 그렇게 하고 있습니다. 올해 출시될 예정입니다"라고 밝히며, 이어버드에 탑재될 카메라가 주변 소리뿐만 아니라 사용자의 얼굴 움직임까지 감지하여 사생활 침해 가능성을 높일 수 있다고 경고했습니다. "카메라가 어디에나 있을 것이라는 점을 명심하라"는 그의 발언은 기술 발전이 가져올 사생활 침해 위험에 대한 심각한 경고로 해석됩니다.