긴 문서를 통째로 AI에 넣으면 — 가운데 내용이 사라지는 이유

병원 행정·간호 실무에서 인공지능 챗봇을 쓰는 흔한 방식이 있습니다. 수십 쪽짜리 원내 규정집, 업체 제안서, 회의 녹취록을 한 번에 붙여 넣고 “여기서 이런 내용만 뽑아 줘”라고 요청하는 것입니다. 편리하지만 함정이 있습니다. 문서가 길수록 인공지능은 앞부분과 끝부분은 잘 기억하는 반면, 가운데에 묻힌 내용은 조용히 빠뜨리는 경향이 있습니다. 이 현상은 여러 연구로 확인됐고, 이름도 붙어 있습니다. 이번 글에서는 왜 그런지, 그리고 실무에서 어떻게 대비하는지 정리합니다.

‘문맥 창’이라는 그릇에는 크기가 있다

인공지능 언어모델이 한 번에 다룰 수 있는 글의 양에는 한도가 있습니다. 이 한도를 문맥 창(context window)이라고 부릅니다. 위키백과의 설명을 빌리면, 문맥 창은 “모델이 출력을 만들 때 한 번에 참조할 수 있는 텍스트의 최대량”이며 단어가 아니라 토큰이라는 단위로 잽니다(Wikipedia, “Context window”). 토큰은 대략 한글 한두 글자, 영어 몇 글자 정도의 조각입니다.

붙여 넣은 문서와 질문, 그리고 인공지능이 만들 답변까지 모두 이 그릇 안에 들어가야 합니다. 그릇을 넘치면 서비스에 따라 오류가 나거나, 오래된 앞부분을 잘라내고 처리하기도 합니다. 한 인공지능 서비스의 기술 문서는 입력만으로 한도를 넘으면 “prompt is too long”이라는 오류를 돌려준다고 설명합니다(Anthropic, “컨텍스트 윈도우” 문서). 즉 아주 긴 문서는 애초에 일부만 인공지능에 전달됐을 수 있습니다.

그릇 안에 다 들어가도, 가운데는 잘 안 본다

더 까다로운 문제는 문서가 문맥 창 안에 다 들어간 경우에도 나타납니다. 스탠퍼드 등 연구진이 2024년 학술지 TACL에 발표한 논문 「Lost in the Middle: How Language Models Use Long Contexts」가 이 점을 정리했습니다. 연구진은 여러 문서를 넣고 특정 정보를 찾게 하는 실험에서, 정답이 되는 정보가 입력의 맨 앞이나 맨 끝에 있을 때 성능이 가장 높고, 가운데에 있을 때 크게 떨어진다는 것을 확인했습니다. 성능을 위치별로 그리면 U자 모양이 됩니다(Liu et al., TACL 2024, Vol. 12, pp. 157–173).

이 경향은 긴 입력을 처리하도록 특별히 설계된 모델에서도 관찰됐습니다. 위키백과도 같은 연구를 인용하며, 문맥 창이 크다고 해서 그 안의 정보를 고르게 활용한다는 보장은 없다고 적고 있습니다. 앞서 소개한 기술 문서는 토큰 수가 늘수록 정확도와 재현율이 떨어지는 경향을 따로 언급하기도 합니다.

병원 업무로 옮기면 이렇습니다. 30쪽짜리 제안서를 통째로 넣고 “위약금 조항을 알려 줘”라고 물었을 때, 그 조항이 15쪽 근처 중간에 있으면 인공지능이 “해당 내용 없음”이라고 답하거나 다른 조항과 뒤섞어 말할 가능성이 앞뒤에 있을 때보다 높습니다. 답이 그럴듯해 보여도 원문에는 분명히 있는 내용을 놓친 것일 수 있습니다.

실무에서 확인하는 네 가지 방법

문서를 나눠서 넣습니다. 규정집 전체 대신 관련 있는 장(章)만, 제안서 전체 대신 계약 조건 부분만 잘라 붙이면 인공지능이 다뤄야 할 범위가 좁아지고 가운데에 묻히는 양도 줄어듭니다.

질문을 구체적으로 나눕니다. “이 문서 요약해 줘” 대신 “제3조부터 제7조까지에서 병원이 부담하는 비용 항목만 목록으로” 처럼 찾을 대상과 위치를 좁혀 여러 번 물으면, 한 번에 넓게 훑을 때보다 누락이 줄어듭니다.

근거의 위치를 되묻습니다. 답을 받은 뒤 “그 내용이 문서 몇 쪽, 몇 조에 있는지 그대로 인용해 줘”라고 요청합니다. 인공지능이 위치를 대지 못하거나 엉뚱한 곳을 짚으면, 그 답은 신뢰하지 않습니다.

중요한 항목은 사람이 원문과 대조합니다. 금액, 기간, 위약금, 개인정보 처리 범위처럼 틀리면 곤란한 항목은 인공지능의 답을 초안으로만 쓰고, 담당자가 원문에서 직접 확인합니다. 이 원칙은 원내 지침을 AI에 물어볼 때 다룬 내용과도 이어집니다.

핵심 요약

• 인공지능이 한 번에 다루는 글의 양에는 한도(문맥 창)가 있고, 아주 긴 문서는 일부만 전달됐을 수 있습니다.
• 문서가 한도 안에 다 들어가도, 인공지능은 입력의 앞·뒤는 잘 참조하고 가운데는 놓치기 쉽습니다(TACL 2024 연구, U자형 성능).
• 긴 제안서·규정집을 통째로 넣고 물으면 중간에 있는 조항이 답에서 빠질 수 있습니다.
• 문서를 잘라 넣기, 질문을 좁혀 여러 번 묻기, 근거 위치 되묻기, 중요한 항목은 사람이 원문 대조 — 이 네 가지로 누락을 줄일 수 있습니다.

출처: Nelson F. Liu et al., “Lost in the Middle: How Language Models Use Long Contexts”, Transactions of the Association for Computational Linguistics (2024), Vol. 12, pp. 157–173 · Wikipedia, “Context window” · Anthropic, “컨텍스트 윈도우” 개발 문서