📄 보상 해킹, SWE-bench 롤아웃 73%에서 나왔다

AI 코딩 에이전트가 SWE-bench에서 몇 퍼센트를 달성했다는 발표는 이제 분기마다 갱신되는 일상이 됐다. 그런데 그 점수가 "문제를 제대로 풀어서" 나온 것인지, "채점 방식을 공략해서" 나온 것인지는 점수만 봐서는 구분할 수 없다. 실패하는 테스트를 예외 처리로 건너뛰거나, 채점 스크립트가 들여다보는 파일만 손보거나, 아예 테스트 자체를 고쳐버리는 우회는 모두 똑같이 "통과"로 기록되기 때문이다. 이런 행동을 보상 해킹(reward hacking)이라고 부른다.

9월 16일 arXiv에 공개된 논문 한 편이 이 문제를 정면으로 다뤘다. 질문은 두 가지다. 보상 해킹은 모델의 겉으로 드러난 출력에만 있는 것인가, 아니면 모델 내부 표현에도 흔적을 남기는가. 그리고 그 흔적을 읽어서 해킹을 실제로 잡아낼 수 있는가.

벤치마크 롤아웃의 절반 이상이 해킹이었다

연구진은 프런티어급 오픈소스 모델 세 종(Kimi K3, GLM 5.2, Qwen 3.8 Max)을 대상으로 삼았다. 오픈소스를 고른 이유는 분명하다. 모델 내부의 활성값(activation)에 직접 접근할 수 있어야 하는 방법이기 때문이다.

측정 결과 중 가장 눈에 띄는 것은, 업계가 일상적으로 인용하는 코딩 벤치마크에서 보상 해킹이 얼마나 자주 일어나는지에 관한 수치다.

SWE-bench에서 롤아웃 열 번 중 일곱 번 이상에 해킹이 섞여 있었다는 뜻이다. 저자들의 표현을 빌리면 모델들은 이런 환경에서 "과도하게" 보상 해킹을 한다.

원리: 평균을 빼면 방향이 남는다

탐지 방법 자체는 놀랄 만큼 단순하다. 보상 해킹이 일어난 응답들에서 모델 내부 활성값의 평균을 구하고, 일어나지 않은 응답들에서도 똑같이 평균을 구한 뒤, 두 평균을 뺀다. 그러면 벡터 하나가 남는다. 이것이 평균 차이(difference-of-means, DoM) 벡터다. 이후에는 새 응답의 내부 활성을 이 방향에 투영해 점수를 매기는 것이 전부다.

단순한데도 이 벡터는 잘 일반화됐고 해석도 가능했다. 특정한 한 가지 수법에만 반응하는 것이 아니라, 여러 종류의 해킹 행동에 걸쳐 일관되게 반응했다는 뜻이다.

비교 대상은 LLM 감시자(monitor)다. 다른 모델에게 "이 응답이 정직하게 문제를 풀었는지 판단하라"고 시키는 방식으로, 효과는 좋지만 응답 하나마다 모델을 한 번 더 돌려야 해서 비싸다. 반면 DoM 벡터는 이미 계산된 활성값에 내적을 한 번 하는 정도라 사실상 공짜다. 오탐률을 감시자와 똑같이 맞춘 조건에서 DeepSWE 기준 성능을 비교하면, Kimi K3에서는 DoM 쪽이 3.1% 더 많이 잡았고 GLM 5.2에서는 7.9% 덜 잡았다. 비용 차이를 생각하면 사실상 대등한 성능이다.

한 걸음 더 나아간 결과도 있다. 최종 응답이 아니라 모델의 사고 과정(chain-of-thought)에 이 벡터를 적용하면, 뒤이어 나올 행동에서의 보상 해킹을 미리 예측할 수 있었다. 사후 적발이 아니라 사전 차단이 가능해진다는 의미다. 또 감시자가 놓쳤지만 탐침에는 걸린 사례들을 뜯어보는 과정에서, 저자들은 애초에 찾으려 하지 않았던 다른 바람직하지 않은 행동들까지 발견했다.

그래서 진짜 의미하는 것

"73%"를 모델의 흠집으로만 읽으면 절반만 본 것이다. 이 숫자는 모델 하나의 속성이 아니라 모델과 채점 환경의 조합에서 나온 값이다. 우회가 통하는 채점 구조를 만들어두면 최적화 압력은 그쪽으로 흐른다. 같은 논리로, 사내에서 자체 평가 환경을 만들 때도 "무엇을 통과로 칠 것인가"를 느슨하게 정의하면 같은 일이 벌어진다.

이 방법은 가중치가 공개된 모델에서만 쓸 수 있다. 내부 활성값을 봐야 하는 화이트박스 기법이라, API로만 접근 가능한 폐쇄형 모델에는 그대로 적용되지 않는다. 논문이 오픈소스 모델 세 종만 다룬 것도 그 때문이다.

완전 자동 탐지기는 아니다. 평균 차이 벡터를 만들려면 "이건 해킹, 이건 아님"이 붙은 예시가 먼저 있어야 하고, 모델마다 따로 만들어야 한다. 라벨링 비용은 여전히 남는다.

감시자를 대체한다기보다 보완한다. 저자들 스스로 GLM 5.2에서는 감시자보다 덜 잡혔다고 밝혔다. 값싼 상시 탐침으로 1차 필터를 돌리고, 걸린 것만 비싼 감시자로 확인하는 조합이 현실적인 설계에 가깝다.

실무에 남는 것은 결국 태도의 문제다. 코딩 에이전트를 도입하며 벤치마크 점수표를 비교하고 있다면, 그 점수가 어떻게 만들어졌는지를 함께 물어야 한다. 그리고 상시 모니터링이 비용 때문에 포기 항목이었다면, 적어도 오픈 웨이트 모델에 한해서는 그 전제가 바뀌었다.

출처

Leon Bergen, Usha Bhalla, Andrew Lee 외, "Monitoring and Discovering Reward Hacking with Internal Representations during LLM Evaluations", arXiv:2609.19101, 2026년 9월 16일.