AI가 붙여 준 출처, 절반이 없는 문헌일 때가 있습니다 — 보고서에 넣기 전 확인 순서

보고서 초안, 제안서 검토 의견, 원내 교육자료. 병원 행정 업무에서 “근거를 붙여 달라”는 요구를 받는 일은 흔합니다. AI에 물으면 논문 제목과 저자, 학술지와 연도까지 딱 떨어지는 출처가 함께 나옵니다. 형식이 완벽해서 그대로 붙여 넣고 싶어집니다.

문제는 그 출처 중 상당수가 실제로 존재하지 않는 문헌이라는 점입니다. 그리고 존재하지 않는 문헌일수록 오히려 더 매끄럽게 생겼습니다.

없는 문헌이 만들어집니다

2023년 학술지 Cureus에 실린 연구는 ChatGPT(GPT-3.5)에 의학 주제로 짧은 글 30편을 쓰게 한 뒤, 거기 딸려 나온 출처 115건을 하나하나 대조했습니다. 아예 지어낸 문헌이 47%, 실재하지만 서지정보가 틀린 것이 46%, 실재하고 정확한 것이 7%였습니다(Bhattacharyya 외, Cureus, 2023).

같은 해 Scientific Reports에 실린 연구는 모델 세대에 따른 차이를 봤습니다. 인용 636건을 확인했더니 GPT-3.5는 55%가 지어낸 것이었고, GPT-4에서는 18%로 줄었습니다. 다만 실재하는 문헌이라도 권·호·쪽수·연도 같은 서지정보가 틀린 경우가 GPT-4에서도 24% 남았습니다(Walters & Wilder, Scientific Reports, 2023).

모델이 나아지고 있다는 뜻이기는 합니다. 그래도 다섯 건 중 한 건에 가까운 비율입니다.

낯선 주제일수록 더 지어냅니다

2025년 JMIR Mental Health에 실린 실험은 각도가 조금 다릅니다. GPT-4o에 정신건강 분야 문헌 개관 6편을 쓰게 하고 인용 176건을 확인했더니 19.9%가 지어낸 것이었습니다. 눈여겨볼 대목은 주제별 차이입니다. 널리 알려진 주제에서는 지어낸 비율이 6%였는데, 덜 알려진 주제 두 개에서는 각각 28%, 29%로 올라갔습니다(Linardon 외, JMIR Mental Health, 2025).

이 결과는 병원 실무에 그대로 옮겨집니다. 우리가 AI에 묻는 것은 특정 제도의 청구 기준, 국내 병원의 운영 사례처럼 대개 자료 자체가 적은 쪽입니다. 참고할 것이 적을수록 빈칸을 메우는 방식으로 답이 만들어집니다. 원내 문서를 두고 물을 때 생기는 비슷한 문제는 원내 지침을 AI에 물어볼 때에서 따로 다뤘습니다.

검색 기능이 붙어 있어도 마찬가지입니다

“실시간으로 검색해서 답하니까 괜찮지 않나” 싶을 수 있습니다. 컬럼비아대 토우 디지털저널리즘센터가 2025년 3월 발표한 조사는 그렇지 않다고 말합니다. 기사에서 뽑은 문장을 주고 원 출처를 찾아내게 하는 질문 1,600건을 검색 기능이 있는 AI 도구 여덟 개에 던졌더니, 전체적으로 60% 넘게 틀린 출처를 댔습니다. 도구별로는 37%에서 94%까지 차이가 벌어졌습니다(Tow Center, Columbia Journalism Review, 2025).

조사팀은 이 도구들이 틀린 답을 확신에 찬 어투로 내놓았고 모르겠다고 물러서는 일이 드물었다고 적었습니다. 어조만으로는 맞았는지 틀렸는지 가늠할 수 없다는 뜻입니다.

붙여 넣기 전 세 단계

첫째, 제목과 저자로 원문을 직접 찾습니다. 의학 문헌이라면 PubMed에 제목을 그대로 넣어 검색합니다. 나오지 않으면 그 출처는 없는 것으로 보고 지웁니다. AI가 준 링크를 눌러 보는 것만으로는 부족합니다. 위 Scientific Reports 연구에서 확인됐듯 권·호·쪽수 같은 번호가 어긋나는 일이 잦아서, 링크가 열리더라도 제목과 저자가 같은 문헌인지 맞춰 봐야 합니다.

둘째, 찾았으면 열어서 그 주장이 실제로 그 안에 있는지 봅니다. 실재하는 논문에 엉뚱한 내용이 붙는 경우가 앞의 연구들에서 반복해 나왔습니다. 대개 초록만 읽어도 판별됩니다.

셋째, 국내 법령·고시는 AI를 거치지 않습니다. 조문 번호와 시행일은 특히 자주 틀리고, 틀렸을 때 치르는 대가가 큽니다. 국가법령정보센터처럼 원문을 그대로 제공하는 곳에서 확인하고, 그 주소를 근거로 답니다.

여기에 원칙 하나를 더합니다. 확인하지 못한 문장은 보고서에서 뺍니다. 근거가 불확실하다는 표시를 달아 두는 것보다, 확인된 것만 남기는 편이 나중에 훨씬 안전합니다. AI를 업무에 쓸 때의 일반적인 주의점은 챗GPT에 병원 업무를 맡기기 전에에 정리해 두었습니다.

핵심 요약

• AI가 만들어 주는 출처는 형식이 완벽해도 실재하지 않는 경우가 많습니다. 2023년 Cureus 연구에서는 출처 115건 중 47%가 지어낸 것이었고, 정확한 것은 7%였습니다.
• 모델이 새로워지면서 비율은 줄었지만 사라지지 않았습니다. GPT-4는 18%, GPT-4o를 쓴 2025년 실험에서는 19.9%가 지어낸 인용이었습니다.
• 덜 알려진 주제일수록 더 지어냅니다(6% 대 28~29%). 병원 실무 질문은 대개 자료가 적은 쪽이라 위험이 큽니다.
• 검색 기능이 붙은 AI도 안전하지 않습니다. 출처 확인 질문 1,600건에서 60% 넘게 틀렸고, 틀린 답도 확신에 찬 어투로 나왔습니다.
• 붙여 넣기 전 세 단계: 제목·저자로 원문을 직접 검색하고, 열어서 그 주장이 실제로 있는지 확인하고, 법령·고시는 공식 원문에서 봅니다. 확인 못 한 문장은 뺍니다.