'정확도 95%' 한 줄로는 알 수 없는 것 — AI 제안서의 성능 숫자 읽는 법

의료 AI 제안서를 받아 보면 성능이 한 줄로 요약돼 있는 경우가 많습니다. “정확도 95%” 같은 문장입니다. 회의에서는 대개 이 한 줄을 두고 도입 여부가 오갑니다.

그런데 이 숫자만으로는 우리 병원에서 이 도구가 어떻게 작동할지 거의 알 수 없습니다. 이유는 어렵지 않습니다. 필요한 계산도 곱셈과 나눗셈 정도입니다.

‘정확도’ 한 줄이 위험한 이유

정확도는 전체 중에서 맞힌 비율입니다. 문제는 드문 일을 다룰 때 생깁니다.

1,000명 중 10명에게 일어나는 일을 예측하는 도구가 있다고 해 봅시다. 이 도구가 아무 판단도 하지 않고 모든 사람에게 “해당 없음”이라고만 답해도 990명은 맞힙니다. 정확도 99%입니다. 정작 찾아야 할 10명은 한 명도 못 찾았는데 성적표는 훌륭합니다.

병원이 AI로 잡으려는 일들 — 패혈증, 낙상, 예약부도, 재입원 — 은 대개 드문 쪽입니다. 드문 일일수록 정확도라는 숫자는 쉽게 부풀려집니다. 제안서에 정확도만 적혀 있다면 그것은 성능이 좋다는 뜻이 아니라 정보가 빠져 있다는 뜻으로 읽는 편이 안전합니다.

민감도와 특이도 — 놓치는 방향이 둘입니다

그래서 성능은 두 방향으로 나눠서 봅니다.

민감도는 실제로 그 일이 일어난 사람 중에서 도구가 제대로 짚어낸 비율입니다. 특이도는 그 일이 일어나지 않은 사람 중에서 도구가 조용히 넘어간 비율입니다. 검사로 바꿔 말하면 민감도는 질병이 있는 사람에서 양성이 나올 확률, 특이도는 질병이 없는 사람에서 음성이 나올 확률입니다(한국의약통신, 2022).

놓치는 방식도 두 가지입니다. 실제로 일이 생겼는데 도구가 조용한 경우를 위음성, 아무 일도 없는데 경고가 울리는 경우를 위양성이라고 합니다. 질병관리청 국가건강정보포털은 검진을 설명하면서 위양성을 “병이 없는데 병이 의심된다고 결과가 나옴”으로 풀어 놓았습니다(질병관리청 국가건강정보포털, 건강검진(암 검진)).

이 두 숫자는 서로 밀고 당깁니다. 알림이 울리는 기준선을 낮추면 민감도는 올라가지만 헛알림이 늘고, 기준선을 높이면 반대가 됩니다. 그래서 제안서에 민감도만 크게 적혀 있으면 특이도를, 특이도만 있으면 민감도를 반드시 함께 물어야 합니다. 한쪽만 보여 주는 성적표는 절반짜리입니다.

현장에서 체감하는 숫자는 따로 있습니다

여기까지는 개발사의 성적표입니다. 그런데 병동에서 알림을 받는 사람이 실제로 궁금한 것은 다른 질문입니다. “이 알림이 떴을 때, 진짜일 확률이 얼마나 되나?”

이 값을 양성예측도라고 합니다. 민감도·특이도와 달리 이 값은 고정돼 있지 않습니다. 대상자 중에 실제 해당자가 얼마나 섞여 있느냐에 따라 크게 달라집니다. 코로나19 자가검사키트를 예로 든 설명을 보면, 같은 검사인데도 100명 중 10명이 감염된 상황에서는 양성예측도가 90.9%였지만 3명일 때는 73.6%, 1명일 때는 47.6%까지 떨어집니다(한국의약통신, 2022).

병원 상황으로 직접 계산해 보겠습니다. 민감도 90%, 특이도 95%인 예측 모델을 환자 10,000명에게 돌린다고 가정합니다.

• 실제 해당자가 10%(1,000명)일 때: 제대로 잡아내는 사람 900명, 헛알림 450명. 알림 1,350건 중 진짜가 900건이므로 양성예측도는 약 67%입니다.
• 실제 해당자가 1%(100명)일 때: 제대로 잡아내는 사람 90명, 헛알림 495명. 알림 585건 중 진짜는 90건이므로 양성예측도는 약 15%입니다.

모델은 하나도 바뀌지 않았는데 알림의 의미가 완전히 달라집니다. 뒤쪽 상황에서는 알림 일곱 번 중 여섯 번이 헛알림입니다. 이 상태가 몇 주 이어지면 현장은 알림을 신뢰하지 않게 되는데, 이것이 이전 글에서 다룬 경보 피로입니다.

그래서 개발사가 시험한 환자 구성과 우리 병원 환자 구성이 다르면, 같은 모델이라도 현장 체감은 달라집니다. 개발사 성적표가 우리 병원에서 그대로 재현되지 않은 사례는 패혈증 예측 AI 검증 연구에서 따로 정리했습니다.

제안서에 물어볼 세 가지

첫째, 정확도 대신 민감도와 특이도를 함께 적어 달라고 합니다. 둘 중 하나만 있으면 나머지를 요청합니다. 답을 못 주거나 “종합 성능”으로 얼버무린다면 그 자체가 판단 재료입니다.

둘째, 그 숫자를 낸 대상자 중 실제 해당자가 몇 퍼센트였는지 묻습니다. 이 비율이 우리 병원과 다르면 위에서 본 것처럼 양성예측도가 달라집니다. 개발사가 성적을 잘 내려고 해당자를 많이 모아 시험했다면, 실제 현장 성적은 그보다 낮게 나옵니다.

셋째, 우리 병원 숫자로 환산해 달라고 합니다. “하루 입원 환자 ○명 기준으로 알림이 몇 건 뜨고, 그중 진짜는 몇 건입니까.” 이 한 문장이 도입 검토에서 가장 실질적인 질문입니다. 알림을 실제로 받아내야 하는 간호 현장의 부담이 여기서 처음 숫자로 보입니다.

용어가 더 필요하면 AI 용어 사전을, 도입 검토 절차 전반은 도입 체크리스트를 함께 보시기 바랍니다.

핵심 요약

• 정확도는 드문 일을 다룰 때 쉽게 부풀려집니다. 아무것도 찾아내지 못하는 도구도 정확도 99%가 나올 수 있습니다.
• 민감도(있는 것을 찾아내는 힘)와 특이도(없는 것을 넘어가는 힘)는 서로 밀고 당깁니다. 한쪽만 적힌 성적표는 절반짜리입니다.
• 현장이 체감하는 것은 양성예측도, 즉 “알림이 떴을 때 진짜일 확률”입니다. 이 값은 모델이 아니라 대상자 중 실제 해당자 비율에 따라 달라집니다.
• 민감도 90%·특이도 95%인 같은 모델도 해당자가 10%면 양성예측도 약 67%, 1%면 약 15%입니다. 뒤쪽은 알림 일곱 번 중 여섯 번이 헛알림입니다.
• 제안서에는 세 가지를 묻습니다. 민감도와 특이도를 함께, 시험 대상자의 해당자 비율을, 그리고 우리 병원 숫자로 환산한 하루 알림 건수를.