📄 진화 전략 LLM 학습, GRPO보다 넓게 생각한다
메모리를 아끼려고 쓰던 방법이, 알고 보니 다른 물건이었다
LLM(대형 언어 모델)의 추론 능력을 끌어올리는 사후학습 방법으로 요즘 가장 널리 쓰이는 것은 GRPO다. 같은 문제에 대해 여러 개의 답을 뽑은 뒤, 그 그룹 안에서 상대적으로 나은 답에 힘을 실어 주는 강화학습 계열 방법이다.
그 옆에는 진화 전략(Evolution Strategies, ES)이라는 오래된 접근이 있다. 기울기를 역전파로 계산하는 대신, 파라미터에 무작위 잡음을 섞은 여러 변형을 만들어 성적이 좋은 쪽으로 조금씩 이동하는 방식이다. ES는 그동안 주로 '메모리를 덜 쓰는 대안'으로 소개되어 왔다. 성능은 좀 떨어지지만 자원이 부족할 때 쓸 만한 차선책이라는 인식이었다.
8월 27일 arXiv에 공개된 논문은 이 인식을 정면으로 반박한다. 제목부터 결론을 담고 있다. 「진화 전략은 GRPO보다 넓은 추론 범위를 갖는다」.
Pass@1과 Pass@K, 두 개의 다른 성적표
논문의 논지를 이해하려면 두 지표를 구분해야 한다.
| 지표 | 측정하는 것 | 비유하자면 |
|---|---|---|
| Pass@1 | 한 번 답했을 때의 정답률 | 첫 시도의 정확성 |
| Pass@K | K번 답해서 하나라도 맞을 확률 | 도달 가능한 풀이의 폭 |
연구진이 발견한 것은 이 둘이 갈라진다는 점이다. GRPO는 학습이 진행될수록 엔트로피 붕괴를 겪는다. 출력 분포가 뾰족해지면서 모델이 한 가지 풀이 방식만 반복하게 되고, Pass@1은 오르지만 Pass@K는 정체된다.
ES는 달랐다. Pass@1을 올리면서도 GRPO보다 높은 Pass@K를 유지했다. 정확성과 다양성을 함께 가져간 것이다.
왜 그런가: 집단의 다양성이 곧 범위다
이론적 설명의 핵심은 ES가 '집단'을 다룬다는 데 있다. ES는 하나의 파라미터를 조금씩 미는 것이 아니라, 잡음을 섞은 여러 변형을 동시에 평가한다. 연구진은 이 집단 전체에 걸친 검증기 투영 Jensen-Shannon 다양성(서로 다른 변형들이 만들어 내는 답이 얼마나 갈라지는지를 재는 지표)이 높을수록 Pass@K가 높아진다는 것을 이론적으로 보였다.
두 번째 발견은 더 흥미롭다. ES로 학습하면 모델 전체 파라미터가 상당히 크게 움직인다. 상식적으로는 이 정도 이동이면 기존 능력이 망가지는 파국적 망각을 걱정해야 한다. 그런데 실제 성능 향상에 기여하는 것은 크기가 큰 소수의 업데이트뿐이었다. 나머지 대부분의 움직임은 기능적으로 무의미했다. 연구진은 이를 '기능적 희소성'이라 부르며, 실제로 학습에 쓰지 않은 과제로 평가했을 때 파국적 망각이 나타나지 않았다고 보고한다.
파라미터가 많이 움직였다는 사실과 모델이 실제로 많이 변했다는 사실은 다른 이야기라는 것이다.
그래서 진짜 의미하는 것
첫째, ES의 위치가 바뀐다. 이 논문의 주장은 ES가 GRPO보다 낫다는 것이 아니다. ES와 GRPO가 서로 다른 것을 잘한다는 것이다. 연구진 스스로 GRPO의 Pass@1 강점과 ES의 Pass@K 이득을 결합한 순차적 GRPO-ES 학습 전략을 제안한다. '어느 쪽이 이기나'가 아니라 '어떻게 섞나'가 실무의 질문이 된다.
둘째, 오해하기 쉬운 지점. Pass@K가 높다는 것은 모델이 더 똑똑하다는 뜻이 아니다. 여러 번 시도할 기회를 줬을 때 정답에 닿을 가능성이 크다는 뜻이다. 이 이점이 실제 가치가 되려면 여러 후보 답안 중 맞는 것을 골라낼 검증기나 채점 장치가 있어야 한다. 사용자에게 답을 한 번만 보여 주는 서비스라면 Pass@K 개선의 체감 효과는 크지 않을 수 있다.
셋째, 하이퍼파라미터에 관한 실용적 힌트가 있다. 논문은 큰 모델일수록 더 작은 집단 크기(population size)가 필요하다는 점을 보였다. ES의 비용은 집단 크기에 비례하므로, 모델이 커질수록 ES의 상대적 비용 부담이 줄어든다는 뜻으로 읽을 수 있다.
한계도 짚어 둘 필요가 있다. 이 연구는 추론 과제를 중심으로 한 분석이며, 대화 품질이나 지시 따르기처럼 자동 채점이 어려운 영역까지 결론이 확장되는지는 다루지 않는다. 기능적 희소성 역시 관찰된 현상에 대한 설명이지, 어떤 업데이트가 중요한지 미리 알아내는 방법을 제공하지는 않는다.
마무리
이 논문이 남기는 메시지는 방법론 하나의 우열보다 넓다. 사후학습을 평가할 때 정답률 하나만 보면, 모델이 조용히 잃어버리는 것을 놓치게 된다는 것이다. ES를 '메모리 절약형 열등 대안'에서 '별개의 사후학습 패러다임'으로 옮겨 놓은 것이 이 연구의 실질적 기여다.
출처: Yunpeng Ba, Zhi Zheng, Yue Xie 외 7인, 「Understanding Evolution Strategies for LLM Reasoning: Broader Reasoning Coverage than GRPO」, arXiv:2608.27351, 2026년 8월 27일.