실패 0건이라는 AI 성능 수치, 안전을 보장할까요

AI 의료기기 제안서나 도입 보고서를 보다 보면 “시험에서 실패가 한 번도 없었습니다”라는 문구를 만날 때가 있습니다. 숫자로 보면 실패율 0%이니 안심이 되는 문구입니다. 그런데 이 문구를 “위험이 0%다”로 그대로 읽으면 안 됩니다. 시험 횟수가 많지 않다면 ‘한 번도 없었다’는 결과는 우연히 나온 것일 수도 있기 때문입니다. 서울아산병원 유소영 님은 메디칼타임즈 2026년 9월 28일 자 칼럼 「‘안전하다’는 의료 AI, 증거를 대라(하)」에서 이 문제를 통계학의 개념으로 짚었습니다(메디칼타임즈). 이 글에서는 그 개념을 병원 행정·간호 실무자가 제안서를 검토할 때 바로 써먹을 수 있도록 풀어 정리합니다.

실패 0건은 위험 0%가 아닙니다

통계학에는 ‘3의 법칙’이라는 개념이 있습니다. 시험을 n번 반복했는데 문제가 한 번도 없었을 때, 실제 위험률이 최대 얼마까지일 수 있는지를 95% 확신 수준으로 계산하는 간단한 방법입니다. 계산법은 3을 시험 횟수로 나누는 것뿐입니다(위키백과, Rule of three (statistics)).

예를 들어 AI 의료기기를 1,000번 시험해서 문제가 한 번도 없었다면, 실제 위험률은 최대 약 0.3%(3÷1,000)일 수 있습니다. 시험 횟수가 적을수록 이 상한선은 높아지므로, ‘실패 0건’이라는 문구는 시험 횟수를 함께 봐야 의미가 있습니다. 병원 업무로 바꿔 생각하면, 어떤 인계 방식으로 열 번 인계했는데 사고가 없었다고 그 방식이 앞으로도 항상 안전하다고 보장할 수 없는 것과 비슷합니다. “아직 문제가 드러나지 않았다”와 “문제가 없다”는 다릅니다.

같은 실패율도 상황에 따라 다르게 읽어야 합니다

3의 법칙으로 계산한 상한선 자체도 절대적인 기준은 아닙니다. 위 칼럼은 같은 1% 수준의 실패율이라도 문제가 생겼을 때 얼마나 심각한지, 되돌릴 수 있는 문제인지, 기존 방식(사람이 판독하거나 처리하던 방식)과 비교했을 때 나은지에 따라 의미가 달라진다고 짚습니다. 숫자 하나만으로 도입 여부를 판단하기보다, 그 숫자가 우리 병원에서 어떤 의미를 갖는지 따져보는 절차가 필요합니다.

국내 가이드라인도 이 문제를 다루기 시작했습니다

식품의약품안전처는 2026년 6월 30일 ‘거대언어모델(LLM) 기반 디지털의료기기 허가·심사 가이드라인’을 냈습니다. 임상 의사결정 지원, 의무기록 요약, 의료영상 판독 보조처럼 실제 병원에서 쓰이는 LLM 기반 제품이 대상이며, 장기간 이어지는 대화(멀티턴)에서 정보가 누락·왜곡되거나 맥락을 잘못 이해하는 문제 등을 어떻게 검증할지에 대한 기준과, 어떤 변경이 생겼을 때 다시 허가를 받아야 하는지를 담았습니다(전자신문, 2026.6.30.). 생성형 AI 제품은 허가 이후에도 계속 업데이트되므로, 처음 받은 검증 결과를 영구적인 보증서처럼 여기지 말라는 것이 이 가이드라인의 핵심 메시지입니다.

제안서 앞에서 확인할 것

• 시험 횟수와 실패 건수를 함께 물어봅니다. ‘실패 0건’이라는 말만으로는 판단할 수 없고, 몇 번 시험했는지가 있어야 최대 위험률을 가늠할 수 있습니다.
• 그 위험률이 우리 상황에서 어떤 의미인지 따져봅니다. 문제가 생겼을 때 되돌릴 수 있는지, 지금 쓰는 방식보다 나은지를 함께 봅니다.
• 모델 업데이트 후 재검증 절차를 계약에 명시합니다. 처음 받은 성능 수치가 이후에도 그대로인지 확인할 방법을 미리 정해 둡니다. 이 시리즈의 성능 수치 읽는 법, 도입 부담이 병원으로 옮겨가는 문제도 참고하시기 바랍니다.

핵심 요약

• ‘시험 실패 0건’은 위험 0%가 아닙니다. ‘3의 법칙’에 따르면 시험 횟수(n)가 1,000번이면 실제 위험률은 최대 약 0.3%(3÷1,000)일 수 있습니다.
• 시험 횟수가 적을수록 ‘실패 0건’이 주는 보장은 느슨해집니다.
• 같은 실패율이라도 심각성, 되돌릴 수 있는지, 기존 방식과의 비교에 따라 의미가 달라집니다.
• 식약처는 2026년 6월 30일 LLM 기반 디지털의료기기 허가·심사 가이드라인을 내어 모델 업데이트 이후 재검증 필요성을 짚었습니다.
• 제안서를 볼 때는 시험 횟수·실패 건수를 함께 묻고, 업데이트 이후 재검증 절차를 계약 단계에서 정해 두시길 권합니다.

---

본 사이트의 콘텐츠는 일반적인 정보 제공과 연구·교육 목적이며, 특정 환자에 대한 의학적 진단이나 조언을 대신하지 않습니다.