📄 RLVR 강화학습, 약한 모델이 사고의 폭을 되살린다
잘 배울수록 답이 하나로 좁아지는 역설
요즘 LLM(대형 언어 모델)의 수학·코딩 실력을 끌어올리는 표준 방법은 RLVR이다. '검증 가능한 보상 기반 강화학습'의 줄임말로, 정답을 자동으로 채점할 수 있는 문제를 반복해서 풀리고 맞히면 보상을 주는 방식이다. 효과는 분명하다. 문제를 한 번 풀게 했을 때의 정답률, 즉 pass@1은 확실히 올라간다.
그런데 현장에서 반복적으로 관찰되는 이상한 현상이 있다. 같은 문제를 여러 번 풀게 하고 그중 하나라도 맞으면 정답으로 치는 pass@k를 재보면, k가 커질수록 학습의 이득이 사라지거나 오히려 뒤집힌다. 학습을 시켰는데 '여러 번 시도할 기회를 주는' 조건에서는 더 나빠지는 것이다. 원인은 엔트로피 붕괴로 불린다. 강화학습이 진행될수록 모델의 출력 분포가 뾰족해지고, 모델은 자기가 잘 아는 한 가지 풀이 방식만 반복하게 된다. 정답률은 올랐지만 생각의 폭은 좁아진 셈이다.
약한 모델의 문장을 억지로 물려준다
8월 27일 arXiv에 공개된 한 논문은 여기에 다소 엉뚱해 보이는 처방을 내놓는다. 더 작고 성능이 낮은 모델이 쓴 추론의 앞부분을, 큰 모델에게 강제로 물려주는 것이다.
방식은 이렇다. 학습 대상인 큰 모델이 문제를 처음부터 풀게 두지 않는다. 대신 작은 모델이 만든 부분 추론 궤적(문제 풀이의 앞부분 몇 문장)을 접두사로 붙여 놓고, 큰 모델은 그 뒤를 이어서 마무리하게 한다. 큰 모델 입장에서 이 접두사는 자기라면 쓰지 않았을 낯선 문장이다.
| 구분 | 기존 RLVR | 이 논문의 방식 |
|---|---|---|
| 탐색의 출처 | 모델 내부의 샘플링 | 외부의 약한 모델이 만든 접두사 |
| 엔트로피 | 학습이 진행되며 붕괴 | 붕괴가 완화됨 |
| 큰 k에서의 pass@k | 정체 또는 하락 | k가 커질수록 격차가 벌어짐 |
| 추가 비용 | — | 추가 SFT·보상 설계·프롬프팅 불필요 |
왜 이게 통하는가
핵심은 '과신 흔들기'다. 강화학습이 진행된 모델은 특정 풀이 경로에 지나치게 확신을 갖는다. 그 상태에서 아무리 샘플링을 반복해도 비슷한 답만 나온다. 자기 확신의 우물 안에서 탐색하기 때문이다.
여기에 약한 모델의 낯선 접두사가 들어오면 상황이 달라진다. 모델은 자기가 선호하지 않았을 출발점에서 문제를 이어받아야 하고, 그러려면 평소 쓰지 않던 경로를 밟아야 한다. 연구진은 이 '분포 불일치'가 탐색 동역학에 어떤 영향을 주는지를 실험적으로 분석했고, 외부 접두사가 실제로 서로 구별되는 추론 경로를 끌어낸다는 점을 보였다.
여러 수학 벤치마크에서 이 방법은 기본 RLVR을 일관되게 앞섰다. 특히 주목할 점은 k가 커질수록 성능 격차가 더 뚜렷해졌다는 것이다. 이는 단순히 정답을 더 잘 맞히게 된 것이 아니라, 모델이 도달할 수 있는 풀이의 범위 자체가 넓어졌다는 뜻이다.
그래서 진짜 의미하는 것
첫째, '작은 모델은 큰 모델의 열화판'이라는 통념이 흔들린다. 이 논문에서 작은 모델은 성능을 보태러 오지 않는다. 큰 모델의 습관을 깨는 교란 장치로 쓰인다. 성능이 낮다는 사실 자체가 도구가 되는 셈이다.
둘째, 오해하기 쉬운 지점이 있다. 이 방법이 모델을 '더 똑똑하게' 만든 것은 아니다. 사전학습된 모델이 이미 갖고 있던 다양한 추론 능력이 강화학습 과정에서 깎여 나가는 것을 덜 깎이게 막은 쪽에 가깝다. 없던 능력을 만들어 낸 것이 아니라, 있던 능력을 지켜낸 것이다.
셋째, 실무적으로는 비용 구조가 매력적이다. 논문이 강조하는 것은 추가 지도학습 미세조정(SFT)이나 정교한 보상 설계, 복잡한 프롬프팅 없이도 엔트로피 붕괴가 완화된다는 점이다. 파이프라인에 작은 모델 하나를 끼워 넣는 정도의 변경으로 pass@k를 개선할 수 있다면, 여러 후보 답안을 뽑아 검증기로 거르는 구조를 쓰는 서비스에서는 검토할 값어치가 있다.
다만 한계도 분명히 해 둘 필요가 있다. 검증은 수학 벤치마크 중심이며, 코딩이나 개방형 생성처럼 정답 채점이 어려운 영역에서도 같은 효과가 나올지는 이 논문만으로 말할 수 없다. '얼마나 약한 모델을 써야 하는가', '접두사를 얼마나 길게 붙여야 하는가' 같은 설정도 실제 적용에서는 직접 조정해야 할 부분이다. pass@1 자체를 최대한 끌어올리는 것이 목표인 서비스라면 이 방법의 이득은 상대적으로 작을 수 있다.
마무리
강화학습으로 모델을 다듬는 일은 정답률을 올리는 작업인 동시에, 모델이 가진 다양성을 깎아내는 작업이기도 하다. 이 논문은 그 손실을 되돌리는 방법으로 '더 나은 것'이 아니라 '더 못한 것'을 끌어들였다. 정답률과 사고의 폭을 함께 보는 관점이 앞으로 사후학습 설계의 기본값이 될 가능성이 높다.
출처: Xingyu Shen, Huishuai Zhang, Peng Li, Yinchun Wang, Dongyan Zhao, 「Boosting LLM Exploration via Weak-Model Guidance in RLVR」, arXiv:2608.27420, 2026년 8월 27일.