만족도 조사 자유응답을 AI로 정리할 때 — 무엇이 보이고 무엇이 사라지나

만족도 조사를 돌리고 나면 객관식 문항은 곧바로 표와 그래프가 됩니다. 문제는 맨 아래 칸입니다. “불편했던 점을 자유롭게 적어 주세요”에 적힌 글이 수백, 수천 건씩 쌓입니다. 담당자 한 사람이 전부 읽고 분류하기에는 시간이 없고, 결국 눈에 띄는 몇 건만 보고서에 옮긴 뒤 나머지는 파일째 보관됩니다.

그래서 이 뭉치를 AI에 넣어 정리해 보고 싶어집니다. 실제로 해 볼 만한 일이지만, 어디까지 맡길 수 있고 무엇이 조용히 사라지는지를 먼저 알아야 합니다. 관련 연구 두 편을 보겠습니다.

자유응답에는 설문에 없던 이야기가 들어 있습니다

캐나다 앨버타주의 입원 환자 경험 조사 자료를 분석한 연구가 있습니다(JMIR Medical Informatics, 2025). 2016년 4월부터 2020년 2월까지 모인 성인 설문 100,272건 가운데 43.4%에, 소아 보호자 설문 7,464건 가운데 46.9%에 자유응답이 적혀 있었습니다. 절반 가까이가 굳이 시간을 들여 글을 남긴 셈입니다.

연구진은 이 글들을 ‘토픽 모델링’으로 분류했습니다. 사람이 미리 항목을 정해 주지 않고, 비슷한 단어가 함께 나오는 글끼리 컴퓨터가 묶게 한 뒤 각 묶음에 이름을 붙이는 방식입니다. 그 결과 성인 응답에서 86개, 소아 응답에서 35개의 주제가 나왔습니다.

주목할 대목은 여기입니다. 나온 주제 중에는 설문 문항에는 아예 없던 것들이 있었습니다. 출산 과정, 병실 온도, 주차, 인력 부족, 언어 장벽, 사회복지사 면담 같은 것들입니다. 객관식 문항은 병원이 묻고 싶은 것만 묻습니다. 자유응답 칸은 환자가 말하고 싶은 것이 들어오는 유일한 통로이고, 그래서 읽지 않고 넘기면 병원이 아직 모르는 문제가 통째로 묻힙니다.

다만 연구진이 밝힌 한계도 함께 봐야 합니다. 응답 대부분이 칭찬이나 긍정적인 내용이어서, 정작 조치가 필요한 불만이 그 안에 파묻혔습니다. 또 글 한 건에 여러 이야기가 섞여 있어도 주제 하나만 배정되도록 설계되어 있었습니다. 캐나다의 특정 설문 자료라는 점도 감안해야 합니다. 우리 병원 응답의 비율이 같으리라는 보장은 없습니다.

AI는 큰 줄기를 잡고, 곁가지를 놓칩니다

그렇다면 요즘 쓰는 챗봇형 AI에 자유응답을 맡기면 사람만큼 읽어낼까요. 환자 면담 기록을 사람과 AI가 각각 분석해 비교한 연구가 있습니다(Journal of Medical Internet Research, 2024). 환자 20명의 면담 기록에서 사람 연구진이 3단계로 주제를 뽑고, 같은 기록을 GPT-4에도 넣어 결과를 맞춰 봤습니다.

두 결과의 일치도는 카파(κ) 값 0.401이었습니다. 카파는 두 쪽이 같은 자료를 각각 분류했을 때 얼마나 같게 봤는지를 0에서 1 사이 숫자로 나타낸 것으로, 아무렇게나 찍어도 우연히 겹치는 몫을 빼고 계산합니다. 1이면 완전히 같고, 0.401은 ‘중간 정도 일치’로 읽습니다.

숫자 하나가 특히 눈에 띕니다. 크게 드러나는 주제는 AI도 잘 잡았습니다. 사람이 20명 중 19명(95%)에게서 찾은 배뇨 문제를 AI는 15명(75%)에게서 찾았습니다. 그런데 겉으로 잘 드러나지 않는 하위 주제에서 차이가 벌어졌습니다. 우울에 해당하는 내용을 사람은 10명(50%)에게서 읽어냈지만 AI는 4명(20%)에서만 짚었습니다. 연구진의 결론은 AI가 핵심 주제를 뽑는 데는 쓸 만하지만 사람의 분석을 대체하지는 못하며, 사람 쪽이 자료의 복잡한 결을 더 촘촘히 잡아냈다는 것이었습니다.

실무 언어로 옮기면 이렇습니다. “대기 시간이 길다” 같은 굵은 불만은 AI도 놓치지 않습니다. 놓치는 쪽은 몇 건 안 되지만 심각한 이야기입니다. 그리고 만족도 조사에서 정작 손을 써야 하는 것은 대개 후자입니다.

그래서 실무에서는

첫째, 원자료를 그대로 외부 서비스에 올리기 전에 확인합니다. 자유응답에는 응답자가 스스로 적어 넣은 이름, 병실, 날짜, 담당 직원 이름이 섞여 들어올 수 있습니다. 객관식 답변과 달리 무엇이 적혔는지 미리 알 수 없다는 점이 핵심입니다. 개인정보보호위원회가 2025년 8월 낸 생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서가 단계별 고려 사항을 정리해 두었으니 부서 기준을 세울 때 참고할 만합니다. 사이트의 도입 체크리스트도 함께 보시면 좋습니다.

둘째, AI에게는 분류를 시키고, 판단은 사람이 합니다. 수백 건을 주제별로 묶어 순서를 매기는 일까지가 AI가 잘하는 몫입니다. 여기서 멈추고, 불만으로 분류된 묶음은 사람이 원문을 그대로 읽습니다. 요약본만 보고 보고서를 쓰면 위 연구에서 사라진 것과 같은 종류의 내용이 사라집니다.

셋째, 개수만 보지 않습니다. 많이 나온 주제가 곧 중요한 주제는 아닙니다. 앨버타 연구에서도 긍정적인 내용이 가장 많이 나왔지만, 조치가 필요한 것은 몇 건뿐인 이야기 쪽이었습니다. 건수 순위표 옆에 “건수는 적지만 심각한 것” 칸을 따로 두는 편이 낫습니다.

용어가 낯설다면 사이트의 AI 용어 사전을, AI에 문서를 맡길 때 생기는 문제 전반은 이전 글 원내 지침을 AI에 물어볼 때를 함께 보시면 도움이 됩니다.

핵심 요약

• 앨버타주 입원 환자 경험 조사에서 성인 응답의 43.4%, 소아 보호자 응답의 46.9%에 자유응답이 적혀 있었고, 여기서 성인 86개·소아 35개 주제가 나왔습니다. 그중에는 설문 문항에 없던 주차, 병실 온도, 인력 부족 같은 주제가 있었습니다.
• 사람과 GPT-4가 같은 면담 기록을 분석한 연구에서 일치도는 카파 0.401(중간 정도)이었습니다. 크게 드러나는 주제는 비슷하게 잡았지만, 우울처럼 드러나지 않는 내용은 사람 50% 대 AI 20%로 차이가 컸습니다.
• 자유응답에는 어떤 개인정보가 적혀 있을지 미리 알 수 없으므로, 외부 AI 서비스에 원자료를 올리기 전에 부서 기준을 먼저 정해야 합니다.
• AI에게는 묶고 정렬하는 일까지 맡기고, 불만으로 분류된 묶음은 사람이 원문을 읽습니다. 건수가 많은 주제와 조치가 필요한 주제는 다릅니다.