자동화 편향 — 병원 의료 AI 과신 위험과 점검 방법

병원에 AI·전산 도구가 늘면서 사람에게 새로운 질문이 하나 생겼습니다. 기계의 판단을 얼마나 믿어야 하는가입니다. 여기에는 얄궂은 역설이 있습니다. 도구가 정확할 때는 사람을 확실히 돕지만, 도구가 틀리는 순간에는 오히려 사람이 스스로 옳게 내린 판단까지 뒤집게 만든다는 것입니다. 이렇게 자동화된 시스템의 조언을 지나치게 믿어 스스로 확인하는 과정을 건너뛰는 현상을 자동화 편향(automation bias)이라고 합니다.

앞서 다룬 경보 피로가 ‘알림이 너무 많아 사람이 무뎌지는’ 문제였다면, 자동화 편향은 방향이 반대입니다. ‘기계가 그렇다니 내 생각을 접는’ 문제입니다. 둘 다 AI 도입을 검토하는 행정과, 그 조언에 실제로 대응하는 간호 현장이 알아둘 개념입니다. 두 편의 연구로 살펴봅니다.

정확한 도구도, 틀리는 순간 사람을 끌고 내려갑니다

호주 연구진이 최종학년 의대생 120명에게 모의 전자처방 시스템으로 처방을 내리게 한 실험이 있습니다(Lyell 외, 2017). 시스템은 처방 오류가 의심되면 경고를 띄웠는데, 연구진은 이 경고의 품질을 정확·부정확·없음으로 바꿔 가며 결과를 비교했습니다.

정확한 의사결정 지원이 붙었을 때는 전체 처방 오류가 도구가 없을 때보다 58.8% 줄었습니다. 그런데 같은 형태의 도구가 틀린 경고를 주자, 오류가 오히려 86.6% 늘었습니다. 도구가 아예 없을 때보다 더 나빠진 것입니다. 특히 참가자들은 자신이 옳게 내린 판단인데도 도구가 아니라고 하면 8.3%의 상황에서 그 맞는 경고를 무시하고 판단을 뒤집었고, 실험에서 나온 전체 오류의 약 70%가 이런 자동화 편향에서 비롯됐습니다. 문제는 도구의 정확도만이 아니라, 사람이 그 도구를 얼마나 무비판적으로 따르느냐에 있었던 셈입니다.

왜 이런 일이 벌어지나 — 바쁠수록 심해집니다

이 현상을 여러 연구에 걸쳐 정리한 체계적 리뷰가 있습니다(Goddard 외, 2012). 관련 논문 74편을 분석한 이 리뷰는 자동화 편향을 키우는 요인으로 도구에 대한 신뢰와 자신감, 그리고 무엇보다 업무 부담과 과제의 복잡성, 시간 압박을 꼽았습니다. 처리해야 할 일이 많아 인지적 여유가 쪼들릴 때, 즉 바쁠 때 사람은 “기계가 이미 봤겠지” 하며 스스로 확인하는 단계를 건너뛰기 쉽다는 것입니다.

병원 현장이 정확히 그런 환경입니다. 그래서 한가한 조건에서 괜찮아 보이던 도구가 바쁜 병동이나 외래에서는 다르게 작동할 수 있습니다. 도구를 시험해 본 상황과 실제로 쓰는 상황의 ‘바쁜 정도’가 다르다면, 시험 결과를 그대로 믿기 어렵다는 뜻이기도 합니다.

병원이 도입을 검토할 때 확인할 점

같은 리뷰는 자동화 편향을 줄이는 방법도 함께 정리했습니다. 크게 세 가지입니다. 첫째, 교육과 함께 ‘최종 책임은 사람에게 있다’는 점을 분명히 하는 것입니다. 도구는 보조일 뿐 판단의 책임이 사라지지 않는다는 점을 반복해 인식시키면 무비판적 수용이 줄어듭니다. 둘째, 화면 설계입니다. 조언을 어디에 어떻게 배치하는지, 도구가 자신의 확신 수준을 함께 보여 주는지에 따라 사람의 반응이 달라집니다. 셋째, 도구가 ‘정보를 제공’하는지 ‘결론을 지시’하는지입니다. 단정적으로 답을 던지는 도구일수록 사람이 자기 판단을 접기 쉽습니다.

여기서 실무의 질문이 나옵니다. 제안서를 검토하는 행정은 “이 도구가 틀렸을 때 현장이 그것을 알아챌 수 있게 설계돼 있는가”를 물을 수 있습니다. 알림에 대응하는 간호 현장은 “이 경고를 한 번 더 확인할 시간과 절차가 우리에게 있는가”를 점검할 수 있습니다. 도구의 정확도만큼이나, 사람이 그 도구를 어떻게 다루도록 설계되어 있는지가 중요하기 때문입니다.

핵심 요약

• 자동화 편향은 기계의 판단을 지나치게 믿어, 사람이 스스로 옳게 내린 판단까지 뒤집는 현상입니다. 알림에 무뎌지는 경보 피로와는 방향이 반대입니다.
• 전자처방 실험에서 정확한 도구는 오류를 58.8% 줄였지만, 틀린 도구는 오히려 86.6% 늘렸고, 전체 오류의 약 70%가 자동화 편향에서 나왔습니다.
• 신뢰·업무 부담·시간 압박이 클수록 심해집니다. 바쁜 병원 현장이 특히 취약합니다.
• 완화하려면 사람의 책임을 분명히 하는 교육, 조언을 보여 주는 방식의 설계, 그리고 ‘지시’보다 ‘정보’로 제시하는 접근이 필요합니다.