의료 AI 성능 저하 — 병원 도입 후 점검 항목

병원이 인공지능 도구를 들일 때는 보통 도입 전에 성능을 한 번 확인합니다. “우리 데이터로 시험해 보니 잘 맞더라”는 검증을 거쳐 계약서에 서명하면, 그 성능이 그대로 이어질 것이라 생각하기 쉽습니다. 하지만 AI의 성능은 도입한 날에 멈춰 있지 않습니다. 시간이 지나며 조용히 달라질 수 있고, 그 변화는 눈에 잘 띄지 않습니다.

이건 임상의만의 관심사가 아닙니다. 도입을 결정하고 예산을 세우는 행정에게는 “이 도구를 산 뒤에도 관리 절차와 비용이 필요한가”라는 질문이고, 알림과 예측에 대응하는 간호 현장에는 “얼마 전까지 잘 맞던 이 예측을 지금도 그대로 믿어도 되는가”라는 질문입니다. 앞서 다룬 경보 피로나 자동화 편향이 사람이 AI를 어떻게 ‘대하는가’의 문제였다면, 이 글은 AI 자체의 성능이 시간에 따라 ‘변한다’는 이야기입니다.

순위는 계속 맞혔지만, 확률은 빗나갔습니다

미국 재향군인 병원들의 입원 자료로 급성콩팥손상(입원 중 신장 기능이 갑자기 나빠지는 것)을 예측하는 모델 7개를 만들고, 이후 9년에 걸쳐 성능이 어떻게 변하는지 추적한 연구가 있습니다(Davis 외, 2017).

여기서 성능을 두 갈래로 나눠 봐야 합니다. 하나는 ‘변별력’으로, 위험이 높은 환자와 낮은 환자의 순서를 잘 가려내는 능력입니다. 다른 하나는 ‘보정’, 즉 확률의 정확성입니다. 모델이 “이 환자의 위험은 20%“라고 말하면, 실제로 비슷한 환자 100명 중 20명 정도에게 그 일이 일어나야 잘 맞는 것입니다.

9년간 추적한 결과, 모든 모델에서 변별력은 유지됐습니다. 위험한 환자와 그렇지 않은 환자의 순서는 계속 잘 가려냈다는 뜻입니다. 그런데 보정은 나빠졌습니다. 시간이 갈수록 모델이 위험을 실제보다 부풀려 예측했습니다. 겉으로는 여전히 “고위험 환자를 잘 골라내는” 것처럼 보이지만, 그 확률 숫자 자체는 점점 현실과 어긋난 것입니다. 성능 저하가 한눈에 드러나지 않는 이유가 여기 있습니다.

왜 나빠지나 — 병원이 가만히 있어도 바깥은 바뀝니다

연구진은 성능이 어긋난 원인으로 두 가지를 짚었습니다. 하나는 급성콩팥손상이 실제로 발생하는 비율 자체가 시간이 지나며 달라진 것이고, 다른 하나는 예측에 쓰는 요인과 결과 사이의 관계가 변한 것입니다. 모델은 과거 어느 시점의 환자들을 학습해 그 모습으로 굳어 있는데, 병원 바깥의 현실은 계속 움직입니다.

이런 변화는 콩팥 예측에만 있는 일이 아닙니다. 의료 AI의 성능 저하를 정리한 한 리뷰(IEEE TBME, 2025)는 그 원인으로 환자 구성의 변화, 촬영·검사 장비의 교체, 질병 유병률의 변화, 진료 지침의 개정 등을 꼽습니다. 새 장비를 들이거나, 진료 프로토콜을 바꾸거나, 환자층이 달라지는 것은 병원에서 늘 일어나는 일입니다. 문제는 이런 변화 하나하나가 과거 데이터로 학습한 AI의 발밑을 조금씩 흔든다는 데 있습니다.

그래서 도입은 끝이 아니라 시작입니다

이 사실이 실무에 주는 함의는 분명합니다. AI 도입은 계약서에 서명하는 순간 끝나는 일이 아니라, 그때부터 관리가 시작되는 일이라는 것입니다.

• 도입을 검토하는 행정은 “도입 후에도 성능을 주기적으로 점검하고, 필요하면 다시 학습(업데이트)하는 절차와 비용이 계획에 들어 있는가”를 물을 수 있습니다. 처음 성능만 보고 판단하면, 몇 년 뒤 조용히 나빠진 성능을 놓치게 됩니다.
• 앞의 연구는 갱신 방식에 대해서도 시사점을 줍니다. 연구진은 연 1~2회 같은 정해진 정기 점검만으로는 부족하고, 성능이 빠르게 나빠지는 시기에 곧바로 대응할 수 있어야 한다고 봤습니다. ‘언제 점검하는가’뿐 아니라 ‘이상이 보이면 바로 손쓰는가’가 중요하다는 뜻입니다.
• 현장의 간호·행정은 “얼마 전까지 잘 맞던 예측이 요즘 유난히 빗나가는 것 같다”는 감각을 기록하고 공유할 수 있습니다. 사람이 느끼는 이 위화감이 성능 저하를 알아채는 첫 신호가 되는 경우가 많습니다.

위 리뷰의 결론도 같은 방향입니다. 배포한 AI는 지속적으로 성능을 지켜보고, 이상을 일찍 발견해 바로잡는 장치가 함께 있어야 한다는 것입니다. 도구를 고를 때 확인할 항목은 도입 체크리스트와도 이어집니다.

핵심 요약

• AI의 성능은 도입한 날에 고정되지 않습니다. 시간이 지나며 조용히 달라질 수 있습니다.
• 인공지능 예측모델을 9년간 추적한 연구에서, 위험 순서를 가려내는 ‘변별력’은 유지됐지만 확률의 정확성인 ‘보정’은 나빠져 위험을 점점 부풀려 예측했습니다. 성능 저하는 한눈에 드러나지 않습니다.
• 원인은 대개 병원 바깥의 변화입니다. 환자 구성, 질병 유병률, 장비, 진료 지침이 바뀌면 과거 데이터로 학습한 AI가 흔들립니다.
• 도입은 끝이 아니라 시작입니다. 사후 성능 점검·갱신 절차와 비용을 계획에 넣고, 정기 점검을 넘어 급격한 성능 저하에도 대응할 수 있어야 합니다.