📄 LLM 평가 재현성, 같은 질문에 순위가 흔들렸다

요즘 AI 모델의 성능을 이야기할 때 근거로 등장하는 숫자 상당수는 사람이 매긴 점수가 아니다. 다른 AI가 매긴 점수다. 학습 데이터를 고를 때도, 생성 결과를 거를 때도, 리더보드 순위를 정할 때도 강력한 언어 모델을 심사위원으로 세운다. 흔히 LLM 심사위원(LLM-as-a-judge)이라고 부르는 방식이다. 편하고 싸고 빠르다. 그런데 사전등록 방식으로 이 심사위원을 감사한 연구가 나왔고, 결론은 편치 않다.

5만 건을 물어봤더니

연구진의 출발점은 단순한 질문이었다. 심사위원을 하나의 계측 장비로 본다면, 그 장비는 "같은 요청을 같은 모델명에 보내면 내일도 같게 읽힌다"는 전제 위에 서 있다. 온도계가 같은 물에 매번 다른 값을 보인다면 그건 온도계가 아니다.

연구진은 이 전제를 두 차례의 사전등록 캐페인으로 검증했다. 사전등록이란 실험 전에 기준선과 성공 조건을 미리 못 박아 공개하는 방식으로, 결과를 보고 나서 기준을 유리하게 바꾸는 일을 막는다. 총 52,988건의 요청을 감사한 결과는 다음과 같다.

두 캠페인 모두 본 실험에 들어가기 전, 계측 장비를 검증하는 단계에서 멈췄다. 심사위원의 판정이 재현되지 않아 그 위에 무엇을 얹을 수가 없었다는 뜻이다.

왜 흔들렸나

논문은 원인을 세 갈래로 짚는다.

첫째, 레이블과 의미를 잇는 방식이 판정을 신호만큼이나 강하게 왜곡했다. 후보에 A와 B라는 이름을 붙이느냐, 1번과 2번을 붙이느냐 같은 표면적 선택이 실제 품질 차이에 맞먹는 영향을 준 것이다.

둘째, 비교하려는 후보들의 실제 차이가 너무 작았다. 논문의 표현으로는 장비 자체의 잡음 바닥보다 일곱 자릿수나 작았다. 저울의 눈금이 1그램인데 그보다 훨씬 작은 차이를 재려 한 격이다.

셋째, 바이트 단위로 완전히 동일한 입력이 다른 순위를 내놓았다. 순열 형태로 결과를 읽어내는 방식은 이 잡음을 증폭시킨다.

연구진은 익숙한 대응책들을 하나씩 시험했고 대부분 실패했다. 지표를 바꾸거나 샘플을 늘려도 고쳐지지 않았다. 며칠을 기다려도 마찬가지였고(0.805 대 0.800), 공급자를 바꿔도 소용없었다. 네 곳의 공급자가 비슷한 바닥을 공유했으며 중앙값은 0.74에서 0.88 사이였고, 이들이 공개하는 메타데이터 어느 항목으로도 그 차이를 예측할 수 없었다. 유일하게 효과가 있었던 것은 배치 불변 커널로 직접 호스팅한 경우인데, 그마저 서버가 한산할 때만이었다.

그래서 진짜 의미하는 것

이 결과를 "LLM 심사위원은 쓸모없다"로 읽으면 과장이다. 논문이 다룬것은 공용 엔드포인트에서 외부로 관측되는 행동이다. 즉 여러 사용자가 함께 쓰는 상용 API 서버 뒤에서 벌어지는 일이며, 배치 구성이나 서버 부하 같은 요인이 결과에 섞여 들어온다. 자체 호스팅에서 조건을 통제하면 상황이 달라진다는 것도 논문 안에 있다.

정확한 독법은 이렇다. 공용 API 위에서 모델명은 고정된 계측 장비가 아니다. 어제의 모델과 오늘의 모델은 같은 이름을 달고 있어도 같은 자를 보장하지 않는다.

여기에 한 가지 더 짚어둘 것이 있다. 논문이 보인 실패는 심사위원이 "틀렸다"는 것이 아니라 "흔들린다"는 것이다. 이 둘은 다르다. 두 후보의 품질 차이가 뚜렷하다면 흔들려도 순위는 유지된다. 문제는 요즘 벤치마크 대부분이 소수점 아래 몇 자리를 다투는 접전이라는 데 있다. 잡음이 신호보다 큰 구간에서 순위를 매기고 있었다면, 그 순위표는 측정이 아니라 추첨에 가깝다.

실무에 어떤 의미인가

논문은 세 단계 스냅샷 동일성 사다리, 여덟 개 설계 규칙, 보고 체크리스트를 제시한다. 세부는 논문을 봐야 하지만, 실무자가 오늘 당장 가져갈 수 있는 것은 하나다.

본 실험 전에 파일럿을 돌려라. 연구진의 계산으로는 전체 호출량의 약 2%짜리 파일럿만으로도 두 캐페인의 문제를 사전에 드러낼 수 있었다. 같은 입력을 여러 번 보내 판정이 재현되는지, 그리고 비교하려는 후보들의 차이가 그 재현 오차보다 큰지를 먼저 확인하는 것이다. 이 두 가지가 확인되지 않으면 그 위에서 나온 A/B 결과는 근거로 쓸 수 없다.

다만 이 연구가 특정 시점의 특정 공급자들을 대상으로 한 측정이라는 점은 기억해둘 만하다. 서빙 인프라는 계속 바뀌고, 배치 불변 추론 같은 기술도 확산되고 있다. 오늘의 숫자가 내년에도 같으리라는 보장은 없다. 그러나 "심사위원을 쓰기 전에 심사위원부터 검증하라"는 원칙 자체는 인프라가 바뀌어도 남는다.

출처

Haoyaun Zhu, Jie Zhang, "Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints", arXiv:2609.04198, 2026년 9월 3일.