원내 지침을 AI에 물어볼 때 — 문서를 붙여 줘도 답이 틀리는 이유

병원에는 문서가 많습니다. 감염관리 지침, 진료비 청구 기준, 복무 규정, 장비 사용 절차, 각종 매뉴얼. 게다가 자주 바뀝니다. 필요한 것은 대개 한 줄인데 그 한 줄을 찾는 데 한참이 걸립니다.

그래서 챗GPT 같은 도구에 그냥 물어보거나, 규정집 파일을 통째로 올려 두고 물어보는 방식을 시도해 보게 됩니다. 그런데 이 두 가지는 성격이 아주 다른 방식이고, 각각 다른 모양으로 틀립니다. 어떻게 틀리는지를 알아야 어디까지 맡길지 정할 수 있습니다.

그냥 물어보면, 있는 내용을 대부분 빠뜨립니다

공개된 지침을 챗봇이 얼마나 제대로 옮기는지 확인한 연구가 있습니다(Scandinavian Journal of Trauma, Resuscitation and Emergency Medicine, 2024). 유럽소생협의회(ERC)의 2021년 심폐소생술 지침을 대상으로, 각 장의 핵심 메시지가 무엇인지 챗봇에 물어본 뒤 실제 지침의 핵심 메시지 172개와 하나씩 대조한 연구입니다.

결과는 이렇습니다. 챗GPT-3.5는 172개 중 13개만 온전히 다뤘고 123개는 아예 언급하지 않았습니다. 챗GPT-4는 20개를 온전히 다뤘고 132개를 언급하지 않았습니다. 반면 챗봇이 실제로 내놓은 문장들이 지침과 일치하는 비율은 챗GPT-3.5가 77%, 챗GPT-4가 84%였습니다.

두 숫자를 같이 봐야 합니다. 말한 것은 대체로 맞았지만, 말해야 할 것의 대부분을 말하지 않았습니다. 실무에서 더 무서운 쪽은 후자입니다. 틀린 답은 읽다가 이상해서 걸러낼 여지라도 있지만, 빠진 항목은 화면에 흔적조차 남지 않습니다. 답을 다 받았다고 생각하고 넘어가게 됩니다.

연구진은 그 이유로 해당 지침 문서가 애초에 AI가 학습한 자료에 들어 있지 않았다는 점을 들며, 최신 근거를 챙기는 일을 챗봇에만 맡기지 말고 원문을 확인하라고 정리했습니다. 이 대목이 병원 실무에 그대로 이어집니다. 공개된 국제 지침도 이런데, 우리 병원 내부 규정은 인터넷에 공개된 적조차 없는 문서입니다. AI가 알고 있을 이유가 없습니다.

문서를 붙여 주면 나아지지만, 사라지지는 않습니다

그래서 나온 방식이 문서를 직접 올려 두고 그 안에서 찾아 답하게 하는 것입니다. 여기서 오해가 하나 생깁니다. 파일을 올리면 AI가 그 내용을 외운다고 생각하기 쉬운데, 실제로는 그렇지 않습니다. 질문이 들어올 때마다 올려 둔 문서에서 관련돼 보이는 대목을 찾아와 함께 읽고 답하는 구조에 가깝습니다. 그래서 찾아오는 단계에서 엉뚱한 대목을 집어오거나 아무것도 못 찾으면, AI는 “없습니다”라고 하는 대신 그럴듯한 문장을 만들어 내기 쉽습니다.

이 방식이 실제로 얼마나 나아지는지를 잰 연구가 법률 분야에 있습니다(Journal of Empirical Legal Studies, 2025). 스탠퍼드대 연구진이 방대한 판례·법령 데이터베이스를 붙여 놓은 전문가용 유료 법률 AI 도구 3종을 평가했습니다. 제조사들이 이 방식을 두고 “환각 없음”이라고 홍보하던 참이었습니다.

결과는 도구에 따라 17~33% 비율로 잘못된 답이 나왔습니다. 일반 챗봇보다는 나았지만 없어지지는 않았고, 연구진은 제조사의 주장이 과장됐다고 결론지었습니다.

법률 분야 결과를 병원 문서에 그대로 옮길 수는 없습니다. 다만 한 가지는 그대로 옮겨집니다. 답 밑에 출처가 붙어 있다는 사실이 그 답이 맞다는 보증은 되지 않는다는 것입니다. 출처가 표시되면 오히려 확인하지 않고 믿게 되기 쉬운데, 이는 이전 글 자동화 편향에서 다룬 문제와 같은 자리입니다.

그래도 쓴다면, 세 가지

첫째, 답이 아니라 위치를 받습니다. “어떻게 하면 되나요”가 아니라 “이 내용이 어느 문서 몇 쪽, 몇 조에 있는지 알려 달라”고 묻고, 사람이 원본을 열어 그 대목을 읽습니다. AI를 답변자가 아니라 색인으로 쓰는 방식입니다. 이렇게 쓰면 찾는 시간은 줄이면서 판단의 근거는 원본에 그대로 남습니다.

둘째, 올려 둔 문서가 최신본인지 사람이 관리합니다. 규정은 개정됩니다. 구본을 올려 두면 AI는 구본을 아주 성실하게 인용합니다. 이때 답변 자체에는 아무 이상이 없어 보이기 때문에 알아채기 어렵습니다. 문서의 개정일과 버전을 확인하는 일은 도구가 대신해 주지 않습니다.

셋째, 무엇을 올려도 되는지 먼저 정합니다. 환자 정보가 들어간 문서는 올리지 않습니다. 외부 서비스를 쓸 경우 입력한 자료가 어떻게 처리되고 보관되는지 확인해야 합니다. 개인정보보호위원회가 2025년 8월 낸 생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서가 단계별 고려 사항을 정리해 두었으니 부서 기준을 만들 때 참고할 만합니다. 관련해서는 이전 글 병원 데이터를 AI 업체와 나눌 때와 사이트의 도입 체크리스트도 함께 보시면 좋습니다.

핵심 요약

• 소생술 지침 연구에서 챗봇은 핵심 메시지 172개 중 1320개만 온전히 다뤘고, 123132개는 아예 언급하지 않았습니다. 내놓은 문장의 일치율은 77~84%였습니다. 틀린 답보다 빠진 항목이 더 위험합니다.
• 문서를 올려 두고 그 안에서 찾게 하는 방식은 AI가 내용을 외우는 것이 아니라 질문할 때마다 찾아 읽는 구조입니다. 찾기에 실패하면 지어내기 쉽습니다.
• 이 방식을 쓴 전문가용 법률 AI 도구도 17~33% 비율로 잘못된 답을 냈습니다. 출처가 붙어 있다는 것이 정답의 보증은 아닙니다.
• 실무에서는 답이 아니라 문서상 위치를 받아 사람이 원본을 확인하고, 올려 둔 문서가 최신본인지 관리하고, 환자 정보가 든 문서는 올리지 않는 기준을 먼저 세우는 편이 안전합니다.