📄 LLM은 답을 알고도 틀린다: 판독 격차의 정체

새 모델이 나올 때마다 벤치마크 점수표가 함께 돈다. 어떤 모델이 수학 추론에서 몇 점, 상식 추론에서 몇 점. 우리는 그 숫자를 보고 "이 모델은 이 정도까지 생각할 수 있구나"라고 읽는다. 그런데 최근 arXiv에 올라온 연구는 그 독법에 제동을 건다. 모델이 문제를 틀렸다고 해서 그 문제를 풀지 못한 것은 아닐 수 있다는 것이다.

무엇을 했는가

연구진은 여러 추론 벤치마크에서 일관되게 나타나는 현상을 관찰했다. 모델 내부의 은닉 상태(hidden state)를 들여다보는 간단한 분류기, 즉 프로브(probe)를 붙이면 정답을 읽어낼 수 있는데, 정작 모델이 최종적으로 내놓는 답은 틀린 경우다. 연구진은 이를 판독 격차(readout gap)라고 부른다.

그다음이 이 논문의 실질적인 기여다. 연구진은 정답 레이블을 전혀 쓰지 않는 최소한의 보정 절차를 만들었다. 라벨 없는 예시 25개만으로 파라미터 두 개를 맞추는 간단한 가산 보정이다.

작동 원리

LLM이 객관식이나 참·거짓 문제에 답할 때는 보통 각 선택지의 시퀀스 점수, 즉 그 문장을 생성할 확률을 계산해 가장 높은 것을 고른다. 문제는 이 점수가 정답 여부 말고도 여러 가지에 휘둘린다는 데 있다. 선택지가 길면 확률이 낮아지고, 흔한 표현으로 된 선택지는 내용과 무관하게 점수가 높다. 논문은 이런 구조적 편향 때문에 시퀀스 점수가 '붕괴'한다고 표현한다. 모델 내부에서는 정답 쪽으로 정보가 정리돼 있는데, 그 정보가 밖으로 나오는 마지막 관문에서 뭉개지는 것이다.

연구진의 보정은 이 마지막 관문만 손본다. 정답을 알려주지 않고, 라벨 없는 예시 몇십 개에서 점수 분포의 치우침만 읽어 두 개의 파라미터로 되돌린다. 모델을 다시 학습시키지 않고, 추론 방식을 바꾸지도 않는다. 그런데도 정확도가 최대 34포인트 오른다는 것은, 그만큼의 정보가 원래부터 모델 안에 있었다는 뜻이 된다.

연구진은 이 회복이 착시가 아님을 확인하는 데 공을 들였다. 회복된 정답이 단순히 문제와 선택지 사이 단어가 겹쳐서 맞은 것은 아닌지 확인했고, 어려운 문제에서도 유지됐다. 또 정답 개수 분포만 맞춘 순열 베이스라인과 비교해 그보다 크게 높았다. 우연히 분포를 맞춰 얻은 점수가 아니라는 이야기다.

그래서 진짜 의미하는 것

이 결과는 두 방향으로 오해되기 쉽다.

첫 번째 오해는 "LLM이 사실은 우리가 아는 것보다 훨씬 똑똑하다"는 식의 확대 해석이다. 논문이 보인 것은 특정 유형의 실패, 즉 선택지 점수를 비교하는 방식의 평가에서 표현 단계 병목이 존재한다는 것이다. 자유 형식으로 긴 추론을 요구하는 과제나 다단계 문제 풀이 전반으로 이 결론이 확장되지는 않는다. 검증도 Qwen3.5 계열을 중심으로 이뤄졌고 다른 두 모델로 전이를 확인한 수준이다.

두 번째 오해는 반대 방향인데, "그럼 벤치마크는 다 믿을 수 없다"는 냉소다. 논문의 주장은 그보다 정확하다. 저자들이 요구하는 것은 벤치마크 결과를 더 좁게 해석하라는 것이다. 어떤 모델이 특정 추론 벤치마크에서 낮은 점수를 받았다면 그것은 "이 평가 방식에서 낮은 점수를 받았다"는 뜻이지, "이 능력이 없다"는 결론이 자동으로 따라 나오지는 않는다.

실무적으로 새겨둘 지점은 이렇다. 모델을 평가하거나 고를 때 점수 한 줄만 보고 능력을 단정하기 어렵다. 같은 모델이라도 답을 뽑아내는 방식, 즉 선택지 확률 비교냐 생성 후 파싱이냐 같은 결정에 따라 점수가 크게 달라질 수 있다. 사내에서 모델을 비교 평가한다면 판독 방식을 통제하고, 가능하면 두어 가지 방식으로 함께 재보는 편이 안전하다.

또 하나, 라벨 없는 예시 25개로 두 개의 파라미터를 맞춰 성능을 되찾는다는 것은 비용 대비 효과가 대단히 좋은 개입이다. 자체 데이터로 정답을 만들 여력이 없는 팀에게는 특히 그렇다. 다만 이 보정이 자신들의 과제와 답변 형식에서도 통하는지는 직접 확인해야 한다.

마무리

"모델이 틀렸다"와 "모델이 모른다"는 같은 말이 아니다. 이 논문은 그 둘 사이에 표현이라는 단계가 있고, 거기서 정보가 상당히 새어나간다는 것을 구체적인 수치로 보여줬다. 벤치마크 점수를 능력의 상한이 아니라 특정 조건에서의 관측값으로 읽어야 한다는, 다소 불편하지만 필요한 지적이다.

출처

Qiyao Yan, Chenpeng Wang, Liangming Pan 외, "Wrong Prediction, Right Answer: Recovering Evidence from Collapsed LLM Sequence Scores", arXiv:2608.31068, 2026년 8월 31일. https://arxiv.org/abs/2608.31068v1