📄 LLM 설명 신뢰도, 모델이 대는 이유는 진짜일까

AI가 대는 이유, 검증해 본 적 있나

요즘 AI에게 판단을 맡길 때 우리는 결론만 받지 않는다. "이렇게 판단한 이유는 A, B, C입니다"라는 설명을 함께 받는다. 실무에서 이 설명은 꽤 중요한 역할을 한다. 시스템을 모니터링하고, 오류를 진단하고, 이 건은 사람이 봐야겠다고 결정하는 근거가 된다. 그런데 전제가 하나 깔려 있다. 모델이 말한 이유가 실제로 모델이 그렇게 판단한 이유와 일치한다는 전제다. 2026년 9월 4일 arXiv에 공개된 이 논문은 그 전제를 정면으로 검증했다.

무엇을 측정했는가

연구진은 "영향을 미친 요인"이라는 말을 두 가지로 나누었다. 이 구분이 논문의 핵심이다.

실험은 두 가지 가상 업무에서 진행되었다. 고객에게 어드바이저를 추천하는 과제, 그리고 프롬프트가 유해하거나 위험한지 판정하는 과제다. 모델은 결론과 함께 가장 큰 영향을 준 요인 세 개를 답한다. 그다음 연구진이 블랙박스 개입을 넣는다. 요인을 하나씩 바꿔 보며 출력이 얼마나 자주 바뀌는지(필요성 점수), 그 요인만 남겼을 때 출력이 얼마나 자주 유지되는지(충분성 점수)를 실측한다. Claude, GPT, Gemini 계열 8개 모델이 대상이었다.

숫자가 말하는 것

모델이 지목한 상위 3개 요인의 순위와, 실제로 측정된 영향력 순위 사이의 스피어만 상관은 다음과 같았다.

상관계수 0.35는 약한 양의 상관이다. 완전히 무작위는 아니지만, 순위를 믿고 쓸 수 있는 수준과는 거리가 멀다.

더 인상적인 것은 두 번째 수치다. 모델이 아예 언급조차 하지 않은 요인이, 모델이 인용한 세 요인 중 가장 낮은 것보다 높은 점수를 받은 비율이다. 어드바이저 추천 과제에서 필요성 기준 57.6%, 충분성 기준 58.1%였다. 절반을 넘긴다. 다시 말해 이 과제에서는 "모델이 언급하지 않은 요인이 사실 더 중요했던" 경우가 그렇지 않은 경우보다 많았다는 뜻이다. 다만 프롬프트 감시 과제에서는 같은 비율이 25.8%와 8.9%로 훨씬 낮았다. 과제에 따라 편차가 크다.

그래서 진짜 의미하는 것

이 결과를 "AI 설명은 다 거짓말"로 읽으면 오해다. 논문의 결론은 더 조심스럽다. 인용된 상위 세 요인에 유용한 정보는 담겨 있다. 다만 그것이 실제 영향력이 가장 큰 세 요인을 신뢰성 있게 짚어내지는 못한다는 것이다. 방향은 대체로 맞지만 순위는 못 믿는다, 정도가 정확한 요약이다.

실무에서 이것이 왜 문제인가. 설명을 그냥 참고 자료로 읽는다면 큰일이 아니다. 문제는 그 설명을 운영 판단의 입력으로 쓸 때다. 예컨대 "모델이 X를 이유로 들었으니 X 데이터의 품질을 점검하자"거나 "Y가 언급되지 않았으니 Y는 영향이 없다"고 결론 내리는 순간, 위 숫자가 바로 반박이 된다. 언급되지 않은 요인이 더 중요했을 확률이 절반을 넘는 과제가 실제로 있었다.

과제에 따라 편차가 컸다는 점도 중요하다. 프롬프트 위험도 판정에서는 충분성 상관이 0.580, 미인용 요인의 역전 비율이 8.9%로 상당히 나았다. 즉 설명의 신뢰도는 모델만의 문제가 아니라 과제 구조의 문제이기도 하다. 우리 업무에서 얼마나 믿을 만한지는 우리 업무에서 직접 측정해 보아야 안다.

한계도 짚어야 한다. 실험은 두 가지 합성 과제에서 이루어졌고, 개별 LLM의 단일 판단을 대상으로 한다. 여러 단계를 거치는 실제 에이전트 워크플로 전체의 설명 신뢰도로 곧장 일반화되지는 않는다. 논문 스스로도 적용 범위를 그렇게 한정한다.

마무리

이 논문의 진짜 기여는 점수 그 자체보다, 설명을 검증하는 절차를 블랙박스 상태로 돌릴 수 있게 만들었다는 데 있다. 모델 내부를 열어보지 않고도, 요인을 바꿔 넣고 출력이 어떻게 움직이는지만 보면 된다. AI 판단에 설명을 요구하는 규정이 늘어나는 흐름에서, 설명을 요구하는 것과 설명이 맞는지 확인하는 것은 다른 일이라는 사실을 숫자로 보여준 연구다.

출처: Urja Pawar, Rajitha Ramanayake, Nabeel Kemal 외 4명, 「Necessary or Sufficient? Evaluating LLM Explanations With Behavioural Evidence」, arXiv:2609.05385, 2026년 9월 4일.