📄 스케일링 법칙, 아키텍처가 기울기를 바꿨다
AI 모델을 키우면 성능이 좋아진다는 것은 이제 상식이다. 연산을 열 배 쓰면 손실이 얼마나 줄어드는지까지 수식으로 정리돼 있고, 이것을 스케일링 법칙이라고 부른다. 그런데 이 법칙에는 업계가 오랫동안 받아들여 온 단서가 하나 붙어 있었다. 아키텍처를 바꾸면 손실 곡선을 위아래로 평행 이동시킬 수는 있지만, 곡선의 기울기 자체는 바꾸지 못한다는 것이다. 좋은 설계는 출발점을 낮춰줄 뿐, 연산을 더 쓸수록 얼마나 좋아지는지를 결정하는 지수는 건드리지 못한다는 이야기다.
이 단서가 중요한 이유는 간단하다. 기울기를 바꿀 수 없다면, 더 좋은 모델로 가는 길은 결국 돈과 전기를 더 쓰는 길밖에 없다. 9월 16일 arXiv에 올라온 논문은 이 통념을 정면으로 반박한다.
7.4B가 GPT-3 13B를 20배 적은 연산으로 따라잡았다
연구진이 붙잡은 지렛대는 루프드 트랜스포머(looped transformer)다. 같은 블록을 여러 번 반복해 통과시키는 구조로, 재귀적 깊이(recursive depth)라고도 부른다. 파라미터를 늘리지 않고도 계산 깊이를 늘리는 방법이라 그 자체로 새로운 아이디어는 아니다.
새로운 것은 쓰는 방식이다. 이들은 루프 횟수를 고정해두지 않고, 학습이 진행되는 동안 루프 수를 점점 늘리는 '모델 성장(model growth)' 방식으로 사용했다. 그러자 손실 곡선이 아래로 내려가는 데 그치지 않고 기울기, 즉 스케일링 지수 자체가 바뀌었다.
| 구성 | 결과 |
|---|---|
| 모델 성장 아키텍처 7.4B | CORE 벤치마크에서 GPT-3 13B와 대등, 연산은 약 20배 적음 |
| 경계 연산자만 적용한 일반 트랜스포머 | 같은 방향의 효율 이득, 다만 정도는 약함 |
| 데이터 부족 다중 에폭 환경 | 루프가 정규화 역할, 규모가 커질수록 루프를 늘리는 것이 연산 최적 |
핵심은 마지막 문장에 들어 있는 조건이다. 이 효율 이득은 규모가 커질수록 더 커졌다. 상수만큼 절약되는 것이 아니라 격차가 벌어진다는 뜻이고, 그래서 저자들이 "연산 증가에 따른 지수적 개선"이라는 표현을 쓴 것이다.
가중치 공유 여부와 무관하게 모델 성장이 지수에 가장 큰 변화를 줬고, 앞선 블록을 정규화해 다시 주입하는 '경계 연산자'를 평범한 트랜스포머에 끼워 넣기만 해도 정도는 약하지만 같은 방향의 이득이 나왔다.
왜 되는가: '쓸 수 있는 깊이'를 늘리는 것
저자들이 제시하는 해석은 계산 깊이(computational depth)다. 주어진 연산 예산 안에서 트랜스포머가 실제로 활용할 수 있는 깊이를 늘리는 것이 목표라는 것이다.
파라미터를 늘려 층을 쌓는 것은 깊이를 늘리는 한 가지 방법이지만, 메모리와 통신 비용을 함께 늘린다. 루프는 같은 가중치를 다시 통과시키므로 깊이만 늘린다. 학습 중에 루프 수를 늘리는 '성장'은, 얇은 모델로 빠르게 기초를 잡은 뒤 점점 깊게 생각하도록 훈련시키는 커리큘럼에 가깝다. 데이터가 부족해 같은 데이터를 여러 번 보는 상황에서 루프가 정규화 효과를 낸다는 관찰도 이 그림과 맞아떨어진다. 반복 통과가 모델이 데이터를 통째로 외우는 것을 어렵게 만들기 때문이다.
그래서 진짜 의미하는 것
"20배 적은 연산"을 그대로 제품 비용 절감으로 옮겨 읽으면 안 된다. 이 수치는 사전학습 연산과 CORE 벤치마크 기준이다. 루프드 구조는 추론할 때도 같은 블록을 여러 번 통과해야 하므로, 학습 비용이 줄어든 만큼 추론 지연이나 비용이 같이 줄어든다는 보장은 없다. 오히려 파라미터는 적지만 계산 단계는 많은 모델이 될 수 있고, 이는 서빙 설계에서 전혀 다른 트레이드오프를 만든다.
비교 대상이 GPT-3 13B라는 점도 감안해야 한다. GPT-3는 지금 기준으로 최신 모델이 아니다. "20배 효율"은 최신 프런티어 모델 대비가 아니라 이 비교 설정 안에서의 수치로 읽는 것이 정확하다.
그래도 통념 하나가 깨진 것은 분명하다. 아키텍처는 상수항만 건드린다는 전제 위에서 지난 몇 해의 투자 논리가 세워졌다. 지수가 설계로 움직인다면 같은 예산으로 도달 가능한 지점이 달라지고, "그냥 더 키우자"가 유일한 답이 아니게 된다. 특히 학습 데이터가 고갈돼 같은 데이터를 여러 번 보는 환경이 일반화되는 지금, 루프가 정규화로 작동한다는 발견은 실용적 가치가 있다.
국내 관점에서는 데이터 제약 조건이 더 와닿는다. 한국어 고품질 말뭉치는 영어에 비해 양이 제한적이라 다중 에폭 학습이 불가피한 경우가 많다. 규모가 커질수록 루프 수를 늘리는 것이 연산 최적이라는 결론은 이런 환경에서 바로 시험해볼 만한 설계 지침이다.
출처
Zixi Chen, Akshay Vegesna, Samip Dahal, Andrew Gordon Wilson, "How Model Growth, Recursion, and Boundary Operators Influence Scaling Exponents", arXiv:2609.19107, 2026년 9월 16일.