딥리서치 보고서의 함정: AI는 근거보다 결론을 세게 쓴다

보고서는 매끄러운데, 왜 불안한가

딥리서치 기능을 한 번이라도 써본 사람은 비슷한 경험을 한다. 질문을 던지면 몇 분 뒤에 각주와 인용이 촘촘히 달린 긴 보고서가 나온다. 읽기에 막힘이 없고 결론도 분명하다. 그런데 막상 그 결론을 회의에서 인용하려 하면 묘하게 망설여진다. 인용된 원문을 직접 확인해 보면 보고서만큼 단정적이지 않은 경우가 자주 있다.

2026년 10월 26일 arXiv에 올라온 논문이 이 찜찜함에 이름을 붙였다. 저자들은 이 현상을 스무딩(smoothing)이라고 부른다. 직역하면 매끄럽게 펴는 것, 울퉁불퉁한 것을 눌러 평평하게 만드는 작업이다.

무엇이 스무딩인가

딥리서치는 여러 문서를 읽고 하나의 서술로 합치는 일을 한다. 그런데 실제 자료들은 서로 어긋나는 경우가 많다. 어떤 연구는 효과가 있다고 하고, 다른 연구는 조건에 따라 다르다고 하고, 또 어떤 자료는 아예 반대 결과를 보고한다. 저자들이 지적하는 문제는 LLM이 이 어긋남을 보고서에 남기지 않는다는 점이다.

논문의 표현을 빌리면, 모델은 말뭉치가 가진 증거의 울퉁불퉁함(jaggedness)을 버리고 하나의 서술로 접어 넣는다. 그 과정에서 인용이 뒷받침할 수 있는 수준보다 더 단정적인 결론을 주장하게 된다. 중요한 점은 이것이 흔히 말하는 환각과 다르다는 것이다. 없는 사실을 만들어내는 게 아니라, 있는 사실의 확신 강도를 올려 쓴다.

위 표는 스무딩이 어떤 모습인지 보이기 위해 만든 예시이며, 논문에 실린 사례는 아니다.

어떻게 측정했는가

지적만으로는 개선할 수 없으니, 저자들은 이를 점수로 바꾸는 파이프라인 SmoothScore를 만들었다. 절차는 네 단계다. 먼저 모델이 생성한 보고서에서 결론성 주장(conclusive claim)들을 뽑아낸다. 다음으로 각 주장에 관련된 근거를 찾는다. 그 근거들을 상위 쟁점(aspect)별로 묶는다. 마지막으로 각 주장을 근거 묶음에 비춰 채점해, 에이전트가 얼마나 스무딩했는지를 수치로 낸다.

주장 단위로 쪼개서 채점한다는 점이 핵심이다. 보고서 전체를 정확하다 또는 부정확하다로 평가하면 이 현상은 잡히지 않는다. 개별 문장은 대체로 틀리지 않았고, 인용도 달려 있기 때문이다.

측정 결과는 7개 시스템과 4개 데이터셋에 걸쳐 일관됐다. 에이전트들은 예외 없이 근거가 뒷받침하는 수준보다 강한 주장을 생산했다. 특정 모델이나 특정 과제의 문제가 아니라는 뜻이다.

그래서 진짜 의미하는 것

조심해서 읽어야 할 부분이 있다. 이 논문은 딥리서치가 쓸 수 없는 도구라고 말하지 않는다. 사실관계를 틀리게 적는다고도 말하지 않는다. 측정된 것은 결론의 강도가 근거보다 세다는 한 가지 차원이다. 또 어느 정도의 스무딩이 허용 가능한지에 대한 기준선은 이 논문이 제시하지 않는다. 사람이 쓴 종합 보고서도 어느 정도는 스무딩을 한다는 점도 함께 기억할 만하다. 요약이란 본래 덜어내는 작업이다.

그런데도 실무에서 중요한 이유는 이렇다. 위험은 보고서가 틀린 데 있지 않고, 틀리지 않았는데 과하게 확신한다는 데 있다. 이런 결과물은 검증을 통과하기 쉽다. 인용을 눌러보면 해당 문서가 실제로 존재하고, 관련된 내용도 들어 있다. 따라서 출처를 확인하라는 흔한 조언이 이 문제를 걸러내지 못한다. 확인해야 할 것은 출처의 존재 여부가 아니라 결론의 강도다.

바꿔볼 수 있는 습관도 있다. 보고서를 받으면 핵심 주장 두세 개만 골라, 그 주장의 수식어를 원문과 맞춰 읽는 방법이 현실적이다. 나타났다와 가능성이 있다, 효과적이다와 일부 조건에서 효과적이다의 차이를 확인하는 것이다. 자료들이 서로 달랐을 경우 그 불일치가 보고서에 남아 있는지도 함께 본다. 반대로 프롬프트 쪽에서는 자료 간 결론이 엇갈리면 엇갈린 채로 적고 합의되지 않은 부분을 따로 표시하라는 지시를 넣어두는 편이 낫다.

마무리

딥리서치류 도구의 가치는 자료를 모아주는 데 있지, 결론을 내려주는 데 있지 않다. 이 논문이 측정한 것은 바로 그 경계가 흐려지는 지점이다. 매끄러운 보고서일수록 한 번 더 울퉁불퉁한 원본을 들여다볼 이유가 있다.

출처

Tiasa Singha Roy, Manya Wadhwa, Greg Durrett, "Quantifying Claim Smoothing by LLM Research Agents", arXiv:2610.35793v1, 2026년 10월 26일. https://arxiv.org/abs/2610.35793v1