서구 데이터 편향 AI, '알고리즘 식민주의'를 낳다

특히 아버지가 모국어 억양으로 탄자니아 날씨를 물어보면 알렉사가 엉뚱하게 태즈메이니아 날씨를 알려주는 오작동이 반복되었다고 말했습니다. 이는 비서구권 억양에 대한 AI의 낮은 이해도를 보여주는 사례입니다.

샤리프는 이러한 경험을 통해 AI가 다양한 문화적, 언어적 배경을 가진 사용자들에게 얼마나 제한적인 서비스를 제공하는지 지적하며, AI가 사용자에게 적응하기보다는 사용자가 AI에 적응해야 하는 현실을 비판했습니다.

이는 AI가 주로 서구권 언어 데이터로 학습되어 다른 언어의 미묘한 뉘앙스와 문화적 맥락을 이해하는 데 한계가 있음을 보여줍니다.

이러한 문제는 비서구권 사용자들이 AI 기술의 혜택을 온전히 누리지 못하게 하고, 기술 격차를 심화시킬 수 있다는 우려를 낳고 있습니다. 샤리프는 AI가 진정으로 글로벌한 도구가 되려면 다양한 언어와 문화적 맥락을 포괄하는 학습 데이터가 필요하다고 강조했습니다.

샤리프는 AI 챗봇인 코파일럿과 GPT에 'Invisible Women'이라는 책을 읽고 왜 자신이 책에서 대표되지 않는지 물었을 때, AI가 이를 이해하지 못했다고 밝혔습니다. 이 책은 데이터 수집 과정에서 중산층 백인 여성에 한정된 타겟 때문에 많은 여성의 경험이 배제되는 현상을 다룹니다.

AI가 이러한 중요한 사회적 이슈와 인종적 대표성 문제를 인식하고 설명하지 못하는 것은, AI 학습 데이터의 편향성이 현실 세계의 불평등을 재현하고 있음을 시사합니다. 샤리프는 AI가 단순한 정보 제공을 넘어 사회적 맥락을 이해하고 비판적으로 분석하는 능력이 부족하다고 지적했습니다.

이러한 불균형은 AI 학습 데이터가 영어 중심적으로 구성될 수밖에 없는 현실을 보여줍니다.

결과적으로, 영어 외 다른 언어를 사용하는 대다수의 세계 인구는 AI 시스템과의 상호작용에서 소외되거나 왜곡된 정보를 접할 가능성이 커집니다. 이는 AI가 제공하는 정보와 서비스의 접근성과 공정성에 심각한 문제를 제기합니다.

마수마 샤리프는 AI 학습에 주로 사용되는 위키피디아의 언어별 문서 수를 비교하며 데이터 편향의 심각성을 설명했습니다. 영어 위키피디아 문서는 710만 개에 달하지만, 덴마크어 문서는 31만 4천 개에 불과하다고 밝혔습니다.

이러한 극명한 차이는 AI 모델이 특정 언어와 문화권에 대한 정보를 압도적으로 많이 학습하게 만들며, 다른 언어와 문화권에 대한 정보는 상대적으로 부족하게 만듭니다. 이는 AI의 지식 기반이 불균형하게 형성되어 특정 지역이나 문화에 대한 편견을 강화할 수 있음을 의미합니다.

특정 회사의 직원들이 극도로 폭력적인 이미지와 텍스트를 분류하는 업무를 수행하면서 정신적 고통을 겪었다고 밝혔습니다. 이 작업은 AI가 부적절한 콘텐츠를 생성하지 않도록 돕는 필수적인 과정입니다.

하지만 해당 회사가 직원들의 고통을 OpenAI에 알리자, OpenAI는 아무런 논의 없이 프로젝트 4개를 통째로 취소하고 라벨링 작업에 대한 비용 지불마저 거부했습니다. 이는 총 28만 건에 달하는 작업이었습니다. 샤리프는 OpenAI가 사회적 책임을 도외시하고 데이터 라벨링 작업자들의 인권을 경시하는 태도를 보였다고 강하게 비판하며, 기업의 윤리적 책임을 강조했습니다.

마수마 샤리프는 AI 시스템에서 편향이 단순히 더해지는 것이 아니라 '곱해진다'고 강조했습니다. 즉, 데이터 파이프라인의 각 단계에서 초기 편향이 규모가 커지고 새로운 데이터가 수신될 때마다 더욱 증폭된다는 것입니다. 이는 마치 작은 눈덩이가 굴러가면서 점점 커지는 '스노볼 효과'와 같다고 설명했습니다.

이러한 현상은 AI 시스템 개발 과정에서 초기 단계의 미세한 편향이라도 최종 결과물에는 훨씬 더 큰 왜곡을 가져올 수 있음을 의미합니다. 샤리프는 이 점을 간과하면 AI의 공정성 문제를 해결하기가 더욱 어려워질 것이라고 경고했습니다.

샤리프는 AI 시스템이 자신의 출력에 계속 의존할수록 현실에서 멀어지는 '모델 붕괴(Model Collapse)' 현상과 그로 인한 '환각(Hallucination)' 문제를 설명했습니다. Yarin Gal 부교수는 이를 '잘못된 피드백 루프'의 AI 버전이라고 정의했습니다. AI가 스스로 생성한 데이터를 학습하면서 현실 세계와의 연결 고리가 약해지고, 결국 사실과 다른 정보를 만들어내는 경향이 생긴다는 것입니다.

모델 붕괴는 AI가 만든 '메아리방(echo chamber)'을 형성하여 정보의 다양성을 저해하고 편향된 시각을 강화할 위험이 있습니다. 샤리프는 이러한 현상이 AI 시스템의 신뢰성과 유용성에 심각한 위협이 되므로, AI 학습 데이터와 과정에 대한 지속적인 검증과 외부 현실 데이터와의 연결이 중요하다고 강조했습니다.

이에 구글은 즉각 사과하고, 문제 해결을 위해 '고릴라', '원숭이', '침팬지' 분류 항목을 시스템에서 삭제하는 조치를 취했습니다.

그러나 샤리프는 이러한 해결책이 근본적인 시스템 재학습 없이 단순히 분류 항목만 없앤 것이라며 비판했습니다. 시스템이 흑인의 얼굴을 여전히 제대로 인식하지 못하는 근본적인 문제를 해결하지 못한 채, 임시방편적인 조치에 그쳤다는 지적입니다. 이는 AI 개발 과정에서 다양성과 포괄성이 부족할 때 발생할 수 있는 심각한 사회적 문제를 보여줍니다.

모델은 현실 세계의 불평등을 반영하는 것이 아니라, 단지 온라인에서 학습된 데이터를 통해 본 것을 표현할 뿐이라는 것입니다.

이는 AI가 이미 존재하는 사회적 편견과 고정관념을 학습하고, 이를 이미지 생성 과정에서 강화하여 재현할 수 있음을 의미합니다. 결과적으로 AI가 만들어내는 이미지는 특정 집단에 대한 편향된 시각을 확산시키고, 현실의 불평등을 더욱 심화시키는 역효과를 낳을 수 있습니다.

마수마 샤리프는 이를 '슬픈 연구 결과'라고 언급하며 AI 편향성이 생명과 직결될 수 있음을 강조했습니다.

이러한 현상은 의료 기기 개발 및 테스트 과정에서 다양한 인종적 배경을 가진 인구 집단에 대한 데이터가 충분히 반영되지 않았기 때문입니다. 피부색에 따라 측정 정확도가 달라지는 문제가 발생한 것으로, AI 기반 의료 기기가 인종 차별적인 결과를 초래할 수 있음을 보여줍니다.

샤리프는 이 사례를 통해 AI 시스템의 편향성이 단순한 불편함을 넘어 실질적인 인명 피해로 이어질 수 있음을 경고했습니다. AI의 공정성과 정확성은 특히 의료 분야에서 더욱 엄격하게 요구되어야 한다고 주장했습니다.

따라서 의료 AI 시스템을 개발할 때는 반드시 다양한 인구 집단의 데이터를 포함하고, 잠재적인 편향성을 면밀히 검토하여 모든 사람에게 공평하고 안전한 서비스를 제공할 수 있도록 해야 한다고 샤리프는 강조했습니다.

그녀는 자신이 규제 준수 업무를 담당하고 있기 때문에 이 분야가 특히 흥미롭다고 덧붙였습니다. 이어 돈과 관련된 세 번째 사례 연구를 통해 AI 윤리 문제를 심층적으로 살펴볼 것이라고 예고했습니다.

이는 AI 기술이 사회 전반에 미치는 영향이 커지면서 기술적 문제 해결을 넘어 법적, 윤리적, 사회적 측면에서의 논의와 해결책 모색이 시급하다는 인식에서 비롯된 것입니다. 특히 금융 분야에서의 AI 적용은 개인의 삶에 직접적인 영향을 미치므로 더욱 신중한 접근이 요구됩니다.

실리콘 밸리와 유럽 핀테크 기업들이 전개하는 자동 신용 평가 모델들은 은행 계좌, 신용 카드 사용 내역, 공과금 청구서, 세금 신고서 등 서구에서 '정상'으로 간주하는 데이터를 찾습니다.

하지만 동아프리카처럼 대부분의 거래가 모바일 머니로 이뤄지고, 토지나 금과 같은 자산이 공유되는 경제에서는 이러한 서구 모델들이 아무것도 인식하지 못합니다. 오히려 이러한 경제 활동을 '특이점'으로 간주하여, 경제적으로 활동적이고 신뢰할 수 있는 사람들을 신용 불량자로 분류하는 경향이 있습니다.

이로 인해 비서구권의 많은 사람들이 AI 기반 대출 시스템에서 부당하게 배제되고 금융 서비스 접근에 어려움을 겪게 됩니다. 샤리프는 이는 서구 중심의 데이터와 모델이 비서구권의 현실을 반영하지 못해 발생하는 심각한 경제적 불평등이라고 강조했습니다.

이는 최근까지 잘 알려지지 않았던 용어이지만, AI 기술이 특정 지역의 경제 및 사회 시스템에 지배적인 영향을 미치고 불평등을 심화시키는 현상을 정확히 묘사합니다.

샤리프는 이러한 알고리즘 식민주의가 특히 경제적인 형태를 띠며, 서구 중심의 기술과 데이터가 비서구권의 자율성과 발전을 저해할 수 있음을 경고했습니다. 이는 AI 개발 및 배포에 있어 글로벌 다양성과 포괄성을 고려해야 하는 중요한 이유가 됩니다.

2010년대 네덜란드에서 세무 당국은 자동화된 위험 평가 시스템을 사용하여 육아 수당 사기를 감지했습니다. 그러나 이 시스템은 이중 국적 가족과 이민자 배경을 가진 가족을 알지도 못한 채 표적으로 삼았으며, 두 번째 국적을 가진 것이 모델에서 위험 요소로 작용했습니다. 마수마 샤리프는 이로 인해 약 26,000가구가 부당하게 고발되어 수만 유로를 상환하도록 강요당했고, 이는 결국 재정 파탄으로 이어졌다고 설명했습니다.

더욱이 2,000명 또는 심지어 3,000명 이상의 아이들이 가족에게서 떨어져 위탁 가정 시스템에 배치되는 비극적인 결과까지 초래되었습니다. 이 사건은 AI 시스템이 편향된 데이터나 알고리즘으로 인해 개인의 삶과 인권에 얼마나 심각한 피해를 줄 수 있는지 보여주는 극단적인 사례입니다. 샤리프는 AI 시스템 설계 시 잠재적인 사회적 영향을 충분히 고려해야 한다고 강조했습니다.

이들은 법적으로 식량을 받을 자격이 있었음에도 불구하고, 생체 인증 문제로 인해 굶주린 경우가 보고되었습니다.

이 사례는 디지털 기술이 사회 복지 시스템에 적용될 때, 기술적 결함이나 특정 사용자 그룹의 특수성을 고려하지 않으면 오히려 취약 계층에게 심각한 불이익을 줄 수 있음을 보여줍니다. 샤리프는 기술 도입 시 인간 중심적인 접근과 충분한 예외 처리 메커니즘이 필수적이라고 강조했습니다.

소피아 노블의 책 '억압의 알고리즘'에 따르면, 구글 검색에서 '인도 소녀', '아시아 소녀', '흑인 소녀' 등을 검색하면 매우 자극적인 자료가 나오는 반면, 다른 검색은 일반적인 웹 콘텐츠를 제공하는 현상이 나타났다고 마수마 샤리프가 설명했습니다. 이는 구글이 의도한 결과라기보다는, 콘텐츠 제작과 사람들의 클릭 패턴, 즉 '참여'에 최적화된 알고리즘 때문에 발생하는 현상입니다.

이러한 현상은 알고리즘이 특정 인종이나 집단에 대한 고정관념을 강화하고, 온라인상의 불평등을 증폭시킬 수 있음을 보여줍니다. 샤리프는 AI가 단순히 중립적인 도구가 아니라, 사회적 편견을 학습하고 재생산할 수 있는 위험성을 내포하고 있다고 지적했습니다. 이는 AI 개발자가 알고리즘의 사회적 영향력을 깊이 이해하고 책임감 있는 설계를 해야 할 필요성을 강조합니다.

OECD AI 원칙을 만든 38개국 그룹의 지도를 보면 아프리카 국가가 단 한 곳도 포함되어 있지 않다고 강조했습니다.

이러한 서구 중심의 규제 논의는 전 세계적인 AI 윤리 및 거버넌스 문제를 해결하는 데 한계를 가질 수밖에 없습니다. AI 편향성 문제가 비서구권에 특히 심각하게 나타나고 있음에도 불구하고, 이들 국가의 목소리가 충분히 반영되지 못하고 있기 때문입니다.

샤리프는 이것이 당장 해결해야 할 문제는 아닐 수 있지만, 반드시 인식하고 지속적으로 살펴봐야 할 중요한 문제라고 강조했습니다. AI 기술의 글로벌한 영향력을 고려할 때, 규제와 원칙 수립 과정에 다양한 지역과 문화권의 참여와 관점 반영이 필수적임을 역설했습니다.

그녀는 포괄적이고 공정한 AI 생태계를 구축하기 위해서는 서구 중심의 사고에서 벗어나 전 지구적인 협력과 대화가 필요하며, 소외된 지역의 목소리에 귀 기울이는 노력이 중요하다고 마무리했습니다.