LLM 추론 연산을 늘리면 정말 똑똑해지나
"모델을 더 크게 만들 수 없다면, 더 오래 생각하게 하면 되지 않을까?" 지난 몇 년간 AI 업계에서 가장 매력적으로 들렸던 아이디어 중 하나다. 그중에서도 루핑(looping)은 특히 공짜처럼 보였다. 학습이 끝난 모델의 레이어 몇 개를 토큰마다 두 번씩 통과시키는 것뿐이니, 파라미터 수는 그대로고 디스크 용량도, 메모리도, 학습 비용도 늘지 않는다. 그런데 최근 공개된 한 연구는 제목부터 못을 박는다. "공짜 루프는 없다."
공짜가 아닌 이유는 산수 하나
핵심은 간단한 계산이다. 전체 N개 레이어 중 m개를 한 번 더 통과시키면, 생성되는 토큰 하나당 연산량이 약 (N+m)/N배가 된다. 저장 공간과 학습 비용은 그대로지만, 서비스하는 동안 생성하는 모든 토큰이 이 추가 비용을 낸다. 사용자가 많아질수록 누적되는 쪽에 비용이 붙는 셈이다.
그러면 이 비용을 지불할 만한 성능 향상이 따라오는가. 대규모 사전학습 과정에서 모델이 스스로 익힌 루프 구조라면 값을 치를 만하다는 선행 연구가 있다. 이 논문이 따로 따진 것은 사전학습이 끝난 뒤에 사람이 붙인 루프가 그만한 값을 하는지였다.
두 개의 기준선이 핵심이다
이 연구의 설계에서 가장 중요한 부분은 비교 대상을 두 개로 잡았다는 점이다.
| 기준선 | 무엇과 비교하는가 | 질문 |
|---|---|---|
| 파라미터 동일 | 루프 없이 똑같은 조건으로 학습한 같은 모델 | 루프를 붙이는 게 그냥 더 학습시키는 것보다 나은가 |
| FLOPs 동일 | 같은 추론 연산량을 루프 없이 쓴 최선의 구성 | 그 연산을 다른 데 쓰는 게 낫지 않은가 |
두 번째 기준선이 특히 공정하다. 루핑이 연산을 더 쓴다면, 같은 연산을 쓰는 다른 방법과 붙여봐야 진짜 이득인지 알 수 있다.
연구진은 Qwen3와 Qwen3.5 계열의 0.8B부터 9B까지를 대상으로 이 비교를 돌렸다. 결과는 이렇다.
- 0.8B 모델만 두 기준선을 모두 넘었다.
- 4B와 9B에서는 루프를 붙인 모델이 루프 없이 학습한 같은 모델조차 이기지 못했다. 두 번째 기준선은 따져볼 필요도 없었다.
그래서 진짜 의미하는 것
여기서 가장 흔한 반박은 "벤치마크가 쉬워서 차이가 안 나온 거 아닌가"다. 연구진은 이 반박을 미리 막아 뒀다. 같은 벤치마크에서 루프 없는 9B가 루프 없는 4B보다 최대 13점 높았다. 즉 그 벤치마크들은 모델이 좋아지면 점수가 올라가는 여지를 충분히 갖고 있었다. 루핑이 그 여지를 못 채웠을 뿐이다.
이 결과를 "추론 연산을 늘리는 건 쓸모없다"로 읽으면 과장이다. 이 논문이 다룬 것은 사후에 붙인 레이어 루핑 한 가지이지, 사고 연쇄나 여러 번 샘플링해 고르는 방식 같은 다른 테스트타임 기법 전부가 아니다. 또한 0.8B에서는 실제로 이득이 있었으니, 기법 자체가 무효라는 결론도 아니다.
진짜 교훈은 조건에 있다. 루핑은 파라미터 예산이 고정된 작은 모델에서 값을 한다. 반대로 모델이 커질수록, 같은 추론 비용이면 애초에 더 큰 모델을 쓰거나 더 오래 학습시키는 쪽이 낫다. 직관적으로도 납득할 만하다. 큰 모델은 이미 레이어마다 충분히 표현력 있는 연산을 하고 있으므로, 같은 블록을 한 번 더 돌려 얻는 추가 정보가 적다.
실무로 옮기면 이렇게 정리된다. 온디바이스나 엣지처럼 모델 크기 상한이 하드웨어로 못 박힌 환경이라면 루핑은 검토할 가치가 있다. 반대로 서버에서 모델 크기를 자유롭게 고를 수 있다면, 루핑에 쓸 연산을 모델 크기나 학습량에 쓰는 편이 거의 항상 낫다. 그리고 어떤 추론 시점 기법을 평가하든, 이 논문이 쓴 'FLOPs 동일' 기준선을 반드시 함께 두어야 한다. 그 기준선이 없으면 "연산을 더 썼더니 점수가 올랐다"는 당연한 결과를 성능 개선으로 착각하게 된다.
마무리
이 연구가 값진 이유는 새로운 기법을 제안했기 때문이 아니라, 매력적으로 들리는 기법에 정직한 비교 기준을 들이댔기 때문이다. 공짜처럼 보이는 것에는 보통 어딘가에 계산서가 있다. 루핑의 계산서는 토큰마다 나온다.
출처: Rhea Sanjay Sukthanker, Pashmina Cameron, "There Is No Free Loop: When Does Looping a Trained Model Pay for Its Inference Compute?", arXiv:2610.42030 (2026년 10월 30일)