📄 LLM-as-a-Judge, 채점자 내부를 뜯어보다

요즘 AI 제품을 만드는 팀에서 가장 흔하게 쓰는 평가 방법은 "다른 LLM에게 채점을 시키는 것"이다. 사람이 일일이 읽고 점수를 매기는 것은 느리고 비싸니, 모델에게 "이 요약이 얼마나 좋은지 1~5점으로 매겨줘"라고 시킨다. 이것을 LLM-as-a-Judge라고 부른다. 문제는 이 점수가 단순한 참고 지표에 그치지 않는다는 데 있다. 많은 팀이 이 점수를 학습 신호로 되먹여, 모델을 그 방향으로 훈련시킨다.

그렇다면 이 채점자는 도대체 어떤 기준으로 점수를 매기고 있을까? Himil Vasava와 Ming Jiang이 2026년 9월 1일 arXiv에 공개한 논문은 그 내부를 뜯어본다.

채점자를 해부하는 방법

연구팀은 채점자의 출력만 관찰한 것이 아니라, 모델 내부에서 무슨 일이 일어나는지를 추적했다. 이를 기계론적 해석(mechanistic interpretability)이라 부른다.

실험 설계는 세 부분으로 나뉜다.

대상은 공개된 평가 전용 모델 두 개였다. Themis(Llama-3-8B 기반)와 Prometheus(Mistral-7B 기반)다.

채점은 2단계로 일어난다

두 모델은 서로 다른 기반에서 출발했는데도 놀랍도록 비슷한 구조를 보였다.

1단계 (15번 레이어 아래) — 어텐션이 국소적인 오류 비교를 수행한다. 즉 "여기 이 부분이 이상하다"를 찾아내고, 그 결과를 마지막 입력 위치로 모아 보낸다.

2단계 (15번 레이어 위) — MLP 캐스케이드가 그 신호들을 통합해 최종 점수를 써낸다.

그리고 판단은 서서히 수렴하는 것이 아니라 후반부의 특정 레이어에서 급격히 확정된다. Themis는 26층, Prometheus는 25층이었다. 그 지점을 지나면 점수는 사실상 결정돼 있다.

파인튜닝은 무엇을 만들고 무엇을 물려받는가

이 논문에서 가장 흥미로운 부분은 대조 실험이다. 연구팀은 같은 규모의 순수 베이스 모델(Llama-3-8B, 평가용 파인튜닝을 하지 않은 것)에도 같은 분석을 돌렸다.

결과가 절묘하게 갈렸다. 베이스 모델은 신호를 마지막 위치로 모으는 라우팅 구조와, 특정 레이어에서 판단이 확정되는 현상은 이미 갖고 있었다. 반면 1단계와 2단계가 깔끔하게 분리되는 성질은 없었다.

파인튜닝이 새로 설치한 것은 두 가지로 좁혀졌다. 마지막 위치에서 15층 아래 MLP의 기여를 억제하는 것, 그리고 판단이 확정되는 깊이를 두 층 앞당기는 것이다. 저자들의 표현을 빌리면, 파인튜닝은 파이프라인을 맨땅에서 짓는 것이 아니라 이미 있는 기반을 조각하듯 다듬는다.

그래서 진짜 의미하는 것

실무 관점에서 세 가지를 건질 수 있다.

첫째, 채점자의 점수는 생각보다 얕은 절차의 산물일 수 있다. 15층 아래에서 국소적 오류를 찾고 위에서 합산하는 구조는, 사람이 글 전체의 논리를 따져 평가하는 것과는 다르다. 표면적 오류가 눈에 띄면 잘 잡아내지만, 문서 전체를 관통하는 미묘한 문제는 놓칠 여지가 있다.

둘째, 판단이 굳는 지점이 뚜렷하다는 것은 채점자가 조작에 취약할 수 있다는 뜻이기도 하다. 판단이 특정 지점에서 급격히 굳는다면, 그 지점까지 도달하는 신호를 흔드는 방식의 공격 가능성이 열린다. 이 논문이 애초에 8가지 교란 공격으로 실험을 설계한 것도 그런 맥락이다.

셋째, 평가기 파인튜닝의 기대치를 조정할 필요가 있다. 평가 데이터를 더 부어도 없던 능력이 생기는 것이 아니라 베이스 모델이 이미 가진 회로가 정돈되는 쪽에 가깝다면, 베이스 모델 선택이 평가 데이터 양보다 중요할 수 있다.

다만 한계도 분명하다. 실험 대상은 요약 평가라는 단일 과제이고, 8B급 두 모델이다. 훨씬 큰 모델이나 코드·수학처럼 정답이 뚜렷한 과제에서도 같은 2단계 구조가 나타나는지는 확인되지 않았다. 레이어 번호 역시 이 두 모델에 한정된 값이지 일반 공식이 아니다.

그럼에도 방향은 분명하다. LLM 채점 점수를 그대로 신뢰하기 전에, 그 점수가 어떤 절차에서 나왔는지 물을 근거가 하나 더 생겼다.

---

출처

Himil Vasava, Ming Jiang, "Beyond Scores: Understanding LLM-as-a-Judge Mechanisms in Summarization Evaluation", arXiv:2609.01604, 2026년 9월 1일. https://arxiv.org/abs/2609.01604v1