서론: 21세기, AI 뱀기름 장수들이 나타났다
19세기 서부 시대, 만병통치약이라며 가짜 뱀기름을 팔던 사기꾼들이 있었습니다. 2024년, 그들이 서버와 인공지능을 들고 다시 돌아왔습니다. “AI가 범죄자를 예측하고, 완벽한 인재를 뽑아주며, 당신의 미래를 알려줄 것”이라는 그들의 달콤한 말은 과연 진실일까요? 도서 는 이러한 주장이 21세기의 뱀기름과 다름없다고 경고합니다. 오늘은 AI가 인간의 미래를 예측하는 데 실패할 수밖에 없는 이유와 우리가 이 거대한 거짓말에 왜 속고 있는지 낱낱이 파헤쳐 보겠습니다.
AI 예측의 맹점: 데이터 함정과 맥락의 부재
AI는 방대한 데이터를 학습하지만, 종종 데이터 이면에 숨겨진 중요한 맥락을 놓쳐 치명적인 오류를 범합니다. 예를 들어, 폐렴 환자의 생존율을 예측하는 AI는 “천식 환자가 폐렴에 걸리면 생존율이 높다”는 황당한 결론을 내렸습니다. 이는 천식 환자들이 과거 병원에서 집중 치료를 받았기 때문에 생존율이 높았던 것인데, AI는 이러한 의사의 개입이라는 맥락 없이 단순히 결과 데이터만을 학습한 탓입니다. 또한, 미국의 한 건강관리 기업 AI는 흑인 환자를 덜 위험하다고 분류했는데, 이는 의료비 지출액을 ‘아픔의 정도’로 대용했기 때문입니다. 사회적 요인으로 병원을 덜 찾고 의료비를 적게 쓰는 흑인들의 상황을 AI는 단순히 ‘덜 아프다’고 오판한 것이죠. AI는 숫자만을 읽을 뿐, 그 숫자가 만들어진 복잡한 세상의 맥락은 이해하지 못하는 한계가 있습니다.
인간의 기만과 AI의 투명성 문제
AI의 예측은 오히려 인간의 기만 행위를 유발하기도 합니다. 기업 채용 과정에서 AI 면접 도구가 지원자의 안경 착용 여부, 배경의 책꽂이 유무, 조명 밝기 등에 따라 점수를 다르게 매기는 어처구니없는 사실이 드러났습니다. 심지어 이력서 검토 AI를 속이기 위해 배경색과 동일한 흰색 글씨로 “옥스포드 대학, 리더십”과 같은 키워드를 잔뜩 넣어 합격률을 높이는 꼼수까지 등장했습니다. 는 예측형 AI가 본질적으로 투명하지 않기 때문에, 사람들이 AI를 평가하기보다 오히려 AI의 기준에 맞춰 자신을 바꾸는 촌극이 벌어진다고 지적합니다. AI를 속이려는 인간의 시도는 AI 시스템의 신뢰성을 더욱 떨어뜨리는 결과를 낳습니다.
방대한 데이터의 한계와 성공의 우연성
데이터를 많이 모은다고 모든 문제가 해결되는 것은 아닙니다. 프린스턴 대학교의 “취약 가족 챌린지” 실험에서 15년 동안 아이들의 방대한 데이터를 수집했지만, 그들의 미래를 예측하는 데 처참하게 실패했습니다. 부모 실직으로 자퇴할 것이라 예측된 아이가 우등생이 된 것은, 데이터에 기록되지 않은 “마음씨 좋은 이웃 아주머니의 친절”과 같은 우연한 만남이 인생을 바꿨기 때문입니다. 인생에는 데이터로 포착할 수 없는 수많은 우연과 변수가 존재합니다. “뮤직랩” 실험 또한 성공이 실력뿐 아니라 “운”의 영역에 크게 좌우됨을 보여줍니다. 똑같은 노래가 평행 우주에서 순위가 극명하게 갈리는 현상은 초기 우연한 다운로드 몇 번이 눈덩이처럼 불어나 성공으로 이어진 결과였습니다. 즉, AI는 아무리 많은 데이터를 분석해도 미래의 히트곡을 예측하는 것은 거의 불가능합니다.
AI 맹신이 부르는 비극: 자동화 편향과 예측의 역설
AI에 대한 맹신은 심각한 사회 문제로 이어집니다. 네덜란드 정부의 부정 수급자 탐지 AI 시스템 ‘시리’는 수천 가구를 파산시키고 가정을 무너뜨렸습니다. 공무원들은 AI의 예측에 반대 의견을 내기보다 ‘AI가 시키는 대로 했다’며 책임을 회피하는 “자동화 편향”과 “책임 분산” 현상을 보였습니다. 결국 피해자는 속출하는데 책임지는 사람은 아무도 없는 기이한 구조가 완성된 것입니다. 또한, “예측의 역설”은 AI의 미래 예측이 불가능한 본질적인 이유를 설명합니다. AI가 주식 폭등을 예측하면 사람들은 예측을 믿고 오늘 당장 주식을 사들여 내일의 예측을 무효화합니다. AI가 전염병 확산을 경고하면 사람들은 행동을 바꿔 확진자 수가 줄어들죠. 즉, AI가 화살을 쏘는 순간 표적(인간)은 화살을 보고 피하거나 움직여 버립니다. 인간의 자유 의지와 반응성을 무시한 AI의 사회적 예측은 ‘움직이는 표적 효과’ 앞에서 무력합니다.
결론: AI 시대를 현명하게 살아가는 안목
AI는 글쓰기, 이미지 생성, 코딩 등 분명 강력하고 유용한 도구입니다. 하지만 “AI가 당신의 미래를 예측해준다”는 주장은 대부분 허구에 가깝습니다. 는 소위 예측형 AI가 가진 위험성을 적나라하게 고발하며, 인간의 복잡한 삶과 사회적 상호작용, 그리고 운의 영역을 AI가 온전히 포착할 수 없음을 강조합니다. 우리는 AI 시대에 사기에 당하지 않고 진짜 기술을 가려내는 안목을 길러야 합니다. 맹목적인 믿음 대신 비판적인 시각으로 AI를 바라보고, 그 한계를 명확히 인지할 때 비로소 AI를 현명하게 활용할 수 있을 것입니다. 이 책이 바로 그 안목을 키우는 확실한 가이드가 되어줄 것입니다.
