📄 AI 출처 표기, 98% 인용 중 37%만 진짜였다
출처가 붙어 있으면 믿을 수 있을까
AI가 답변 끝에 출처를 달아주기 시작하면서 많은 사람이 안심했다. 근거가 표시되니 확인할 수 있다는 것이다. 그런데 실제로 그 링크를 눌러본 사람은 안다. 출처가 60쪽짜리 PDF 전체를 가리키고 있으면, 확인은 사실상 불가능하다.
의료 현장에서는 이 문제가 더 날카롭다. 진료 중 몇 분 안에 판단해야 하는 임상의에게 "이 지침 문서 어딘가에 근거가 있다"는 말은 검증 가능한 정보가 아니다. Jiashuo Zhang, Yuling Chen, Yvonne Commodore-Mensah 등 4명이 2026년 9월 14일 arXiv에 발표한 논문은 이 지점을 정면으로 파고든다.
무엇을 했는가: 주장 하나하나를 문장으로 되짚기
연구진이 제안하는 기준은 '구조적으로 검증 가능한(verifiable by construction)' 답변이다. 답변에 담긴 각각의 사실 주장마다, 근거 문헌의 해당 문장을 그대로(verbatim) 인용해 붙이는 것이다. 그러면 사용자는 다른 문서를 열지 않고도 그 자리에서 확인할 수 있다.
이걸 모델이 실제로 해낼 수 있는지 측정하기 위해, 연구진은 과정을 세 단계로 쪼개각각을 따로 평가했다.
- 모든 사실 주장에 인용을 붙이는가
- 그 인용이 원문 그대로인가 (지어낸 문장이 아닌가)
- 그 인용이 주장의 세부까지 실제로 뒷받침하는가 임상진료지침 4종을 바탕으로 표준화된 평가 환경을 만들고, 합성 임상 질문 222개로 LLM 12종을 측정했다.
어떻게 된 것인가: 앞 두 단계는 통과, 마지막에서 무너진다
결과는 단계별로 극명하게 갈렸다.
| 단계 | 결과 |
|---|---|
| 주장에 축자 인용 붙이기 | 대부분 모델이 프롬프트만으로 90% 이상 달성 |
| 예외 | claude-haiku-4.5 등 일부 경량 모델은 미달 |
| 인용이 주장을 완전히 뒷받침 | 크게 하락 |
가장 선명한 사례가 claude-opus-5다. 이 모델은 자기 주장의 98.0%에 원문 그대로의 인용을 달았다. 형식만 보면 거의 완벽하다. 그런데 그 인용이 해당 주장의 모든 세부를 완전히 뒷받침한 비율은 37.1%였다.
다시 말해, 인용을 붙이는 일과 붙일 만한 인용을 고르는 일은 전혀 다른 난이도의 과제였다. 모델은 관련은 있지만 주장의 일부만 담고 있는 문장, 혹은 주장에 붙은 수치·조건·예외를 포함하지 않는 문장을 자주 골랐다.
그래서 진짜 의미하는 것
여기서 흔한 오해 하나를 짚고 가야 한다. 이 결과를 "AI가 출처를 지어냈다"로 읽으면 안 된다. 그 반대에 가깝다. 인용문 자체는 대부분 진짜였다. 문서에 실제로 존재하는 문장이었다. 문제는 그 진짜 문장이 자기 위에 달린 주장을 다 감당하지 못한다는 것이다.
이게 더 까다로운 이유가 있다. 지어낸 출처는 원문을 찾아보면 바로 들통난다. 그런데 '실재하지만 불충분한' 인용은 겉보기에 정상이다. 문장이 진짜고, 문서에 있고, 주제도 관련이 있다. 꼼꼼히 대조해야만 주장과 인용 사이의 틈이 보인다. 검증 비용을 줄이려고 도입한 장치가, 오히려 더 미세한 검증을 요구하는 셈이다.
실무적으로는 두 가지를 시사한다. 첫째, RAG(검색 증강 생성) 시스템을 만들 때 '인용 부착률'을 품질 지표로 쓰고 있다면 그 숫자는 거의 의미가 없다. 98%와 37%의 간극이 그 증거다. 필요한 것은 인용이 주장을 실제로 함의하는지를 판정하는 별도 단계다. 둘째, 사용자 인터페이스 차원에서도 주장 단위로 근거를 끊어 보여주는 편이, 답변 전체에 출처 목록을 다는 것보다 검증 가능성을 높인다.
한계도 명확하다. 질문 222개는 합성 데이터이고 실제 임상의가 던지는 질문의 분포와 다를 수 있다. 근거 문헌도 진료지침 4종으로 한정됐다. 모델별 수치는 프롬프트 설계에 민감하게 반응할 여지가 있어, 절대값보다는 단계 간 격차의 패턴에 주목하는 편이 안전하다.
마무리
이 논문이 남기는 질문은 의료를 넘어선다. 법률 검토, 재무 보고, 학술 요약처럼 근거가 중요한 모든 영역에서 우리는 지금 '출처가 붙어 있는가'를 확인하고 있다. 정작 물어야 할 것은 '그 출처가 이 문장을 감당하는가'다. 98.0%와 37.1%는 두 질문이 얼마나 다른지를 보여주는 숫자다.
출처
Jiashuo Zhang, Yuling Chen, Yvonne Commodore-Mensah 외 1명, "Verifiable by Construction: Claim-Level Evaluation of Verbatim Citation in Clinical Question Answering", arXiv:2609.15964v1, 2026년 9월 14일. https://arxiv.org/abs/2609.15964v1