의료 AI가 '무엇을' 예측하는지 봐야 하는 이유 — 알고리즘 편향과 형평성
같은 위험 점수인데도 특정 환자군에게만 도움이 덜 가는 AI가 있습니다. 미국 건강관리 알고리즘 사례와 국제 권고를 근거로, AI가 무엇을 예측하도록 설계됐는지가 왜 형평성을 좌우하는지 정리합니다.
병원이 AI 도구를 검토할 때 가장 먼저 보는 것은 대개 정확도입니다. “얼마나 잘 맞히는가”입니다. 그런데 전체 정확도가 높아 보이는 도구가, 특정 환자 집단에게는 조용히 불리하게 작동하는 경우가 있습니다. 성능이 나빠서가 아니라, 그 도구가 애초에 ‘무엇을’ 예측하도록 설계됐는지에서 문제가 시작되기 때문입니다.
앞서 다룬 자동화 편향이 ‘사람이 AI를 지나치게 믿는’ 문제였고, 성능 저하가 ‘시간이 지나며 AI가 변하는’ 문제였다면, 이 글이 다루는 알고리즘 편향은 방향이 다릅니다. 도구가 처음부터 어떤 집단에게 체계적으로 불리하게 작동하는, 즉 형평성의 문제입니다.
정확도는 높은데, 어떤 환자에게는 도움이 덜 갔습니다
미국에서 수백만 명에게 쓰이던 상업용 건강관리 알고리즘을 분석한 연구가 있습니다(Obermeyer 외, Science 2019). 이 도구는 복합적인 건강 문제를 가진 환자를 골라내 추가 관리를 제공하는 데 쓰였습니다. 연구진은 이 도구가 인종에 따라 편향돼 있음을 확인했습니다. 같은 위험 점수를 받은 환자라도, 흑인 환자가 백인 환자보다 실제로는 더 아픈 상태였던 것입니다.
원인은 뜻밖의 곳에 있었습니다. 이 알고리즘은 ‘누가 얼마나 아픈가’가 아니라 ‘누구에게 의료비가 얼마나 들 것인가’를 예측하도록 만들어져 있었습니다. 비용을 건강 필요의 대리지표(직접 재기 어려운 것을 대신 재는 값)로 쓴 것입니다. 그런데 현실에서는 같은 정도로 아파도 흑인 환자에게 쓰인 의료비가 더 적었습니다. 그러니 비용을 기준으로 삼은 AI는 이들을 ‘덜 아픈 사람’으로 잘못 판단했습니다. 연구진은 이 편향을 바로잡으면, 추가 관리를 받도록 선정되는 흑인 환자의 비율이 17.7%에서 46.5%로 늘어난다고 추산했습니다. 절반 넘게 놓치고 있었던 셈입니다.
핵심은 이것입니다. 알고리즘의 계산이 틀렸던 게 아니라, ‘무엇을 예측할지’를 정한 선택이 문제였습니다. 비용은 겉보기에 그럴듯한 대리지표였지만, 그 대리지표에 사회의 불평등이 이미 배어 있었던 것입니다.
왜 우리 병원의 문제이기도 한가
이 사례는 미국의 인종 이야기입니다. 하지만 그 구조는 어디서나 되풀이될 수 있습니다. AI가 ‘진짜 알고 싶은 것’(건강 필요)을 직접 재지 못해 편리한 대리지표(비용, 방문 횟수, 과거 진단 기록 등)로 바꿔 학습하는 순간, 그 대리지표에 담긴 기존의 격차가 그대로 따라 들어옵니다. 소득, 거주 지역, 보험 형태, 나이에 따라 의료 이용에 차이가 있다면, 그 차이를 학습한 AI는 특정 집단을 체계적으로 다르게 대할 수 있습니다.
학습 데이터의 구성도 같은 문제를 낳습니다. 특정 환자군의 자료가 적게 들어간 채로 만들어진 도구는 그 집단에서 성능이 떨어지기 쉽습니다. 국제 전문가들이 모여 만든 합의 권고인 STANDING Together는 바로 이 지점을 다룹니다(Lancet Digital Health, 2024). 25개국 194명이 참여해 정리한 29개 권고로, 데이터에 어떤 집단이 담겼고 무엇이 빠졌는지를 투명하게 기록하는 항목과, AI 성능이 집단별로 다르게 나타나지 않는지 확인하는 항목으로 나뉩니다. 권고는 “AI에 편향이 스며드는 방식을 세심히 살피지 않으면, 기존의 건강 불평등을 대규모로 재생산할 위험이 있다”고 말합니다.
그래서 도입 검토에서 확인할 점
전체 정확도 한 숫자만으로는 이 문제가 드러나지 않습니다. 제안서를 검토하는 행정과 현장이 물어야 할 질문은 다음과 같습니다.
- 이 AI는 정확히 무엇을 예측합니까. 우리가 관심 있는 것(건강 필요, 위험)과 도구가 실제로 예측하는 목표가 같은지, 혹시 비용·이용량 같은 대리지표를 쓰지는 않는지 확인합니다.
- 어떤 환자들의 데이터로 만들어졌습니까. 우리 병원의 환자 구성과 크게 다른 집단으로 학습·검증됐다면, 우리 환자에게는 다르게 작동할 수 있습니다.
- 집단별 성능을 따로 제시합니까. 전체 평균이 아니라 연령·성별·보험 형태 등 하위 집단별로 성능이 고르게 나오는지 자료를 요구할 수 있습니다.
현장의 간호·행정도 신호를 알아챌 수 있습니다. “이 도구가 유독 어떤 환자군만 자주 놓치거나, 반대로 과하게 걸러내는 것 같다”는 감각은 편향을 발견하는 첫 실마리가 되곤 합니다. 이런 관찰을 기록하고 공유하는 것이 중요합니다. 도입 단계에서 확인할 항목은 도입 체크리스트와도 이어집니다.
핵심 요약
- 전체 정확도가 높아 보이는 AI도, 특정 환자 집단에게는 체계적으로 불리하게 작동할 수 있습니다. 이것이 형평성 문제, 곧 알고리즘 편향입니다.
- 미국에서 수백만 명에게 쓰인 건강관리 알고리즘은 ‘건강 필요’ 대신 ‘의료비’를 예측하도록 설계돼 있었습니다. 같은 점수라도 흑인 환자가 더 아팠고, 편향을 바로잡으면 추가 관리 대상 비율이 17.7%에서 46.5%로 늘었습니다.
- 원인은 계산 오류가 아니라 ‘AI가 무엇을 예측하도록 만들어졌는가’라는 설계의 선택이었습니다. 편리한 대리지표에는 사회의 기존 격차가 배어 있을 수 있습니다.
- 도입 검토에서는 이 AI가 정확히 무엇을 예측하는지, 어떤 환자 데이터로 만들어졌는지, 집단별 성능을 제시하는지를 확인합니다. 국제 합의 권고(STANDING Together)도 데이터 구성의 투명한 기록과 집단별 성능 점검을 권합니다.