📄 AI 모델 크기 최적화, 작게 시작해 필요할 때만 키운다
큰 모델이 늘 정답은 아니다
AI 모델을 만들 때의 관행은 단순하다. 일단 넉넉하게 크게 잡고 시작한다. 나중에 어려운 과제가 와도 감당하려면 여유가 있어야 한다는 논리다. 문제는 대부분의 과제가 그만한 용량을 다 쓰지 않는다는 데 있다. 쉬운 일에는 과하게 크고, 정작 어려운 일에는 또 모자란 크기로 고정돼 있는 셈이다. 최근 arXiv에 올라온 SCG 논문은 이 전제를 뒤집는다. 처음부터 크게 잡지 말고, 과제가 요구할 때만 키우자는 것이다.
무엇을 했나: 어텐션 헤드 1개에서 출발
SCG는 Successive Capacity Growth, 우리말로 "연속 용량 성장"이다. 대상은 JEPA 계열 세계 모델이 쓰는 비전 트랜스포머 인코더다. JEPA는 픽셀을 그대로 복원하는 대신 표현 공간에서 다음 상태를 예측하는 자기지도 학습 방식을 가리킨다.
출발점이 인상적이다. 어텐션 헤드 1개, 레이어 2개, 파라미터 28만 3천 개. 요즘 기준으로는 장난감에 가까운 크기다. 여기서 시작해 두 방향 중 하나로 자란다.
| 확장 방향 | 무엇을 추가하나 | 무엇을 얻나 |
|---|---|---|
| 너비 확장 | 어텐션 헤드를 늘린다 | 낮은 수준의 의미 용량 |
| 깊이 확장 | 트랜스포머 블록을 쌓는다 | 더 높은 차원의 추상화 |
어떻게 작동하나: 시험하고, 아니면 되돌린다
핵심 장치는 두 가지다.
첫째는 함수 보존 확장이다. 구조를 키워도 모델이 하던 계산이 그대로 유지되도록 새로 붙는 부분을 초기화한다. 논문은 이를 수치로 확인했다. 확장 전후 출력 비율 1.0, 절대 차이 0.0이다. 확장하는 순간 성능이 꺾이는 구간이 없다는 뜻이다. 덕분에 "일단 키워보고 예측 손실이 나아지지 않으면 되돌린다"는 시험-검증 방식이 안전하게 성립한다.
둘째는 SIGReg라는 정규화 장치다. 자기지도 학습에서 흔한 골칫거리가 표현 붕괴, 즉 모델이 서로 다른 입력을 비슷한 값으로 뭉개버리는 현상이다. SIGReg는 학습된 의미 차원들이 서로 통계적으로 독립을 유지하도록 눌러, 구조가 커지는 도중에도 붕괴가 일어나지 않게 막는다.
숫자로 본 결과
- 60차원 다물체 역학 과제: 깊이 확장이 자연스럽게 촉발됐고, 고정 소형 대비 예측 손실이 20.3% 개선됐다. 고정 대형 모델로 키우는 것과 비교하면 파라미터 효율이 56배다.
- 2D 내비게이션 과제: 너비 확장 단 한 번으로 고정 대형 모델보다 23% 나은 결과가 나왔다.
- 난이도가 다른 세 환경 전체: 적응형 인코더가 고정 소형 기준선과 같거나 그 이상이었고, 불필요한 확장은 0건이었다. 특히 눈여겨볼 것은 두 번째다. 작게 시작해 한 번 넓힌 모델이 처음부터 크게 만든 모델을 이겼다. 용량이 곧 성능은 아니라는 이야기다.
그래서 진짜 의미하는 것
과장하지 않는 선에서 정리하면 이렇다.
이 논문은 "큰 모델은 필요 없다"고 말하지 않는다. "용량을 미리 배정할 필요는 없다"고 말한다. 둘의 차이가 크다. 과제가 어려워지면 SCG도 결국 커진다. 다만 그 시점을 사람이 추측해서 미리 정하지 않고 학습 과정이 스스로 정한다는 것이 요지다.
실무 쪽 함의는 분명하다. 모델 크기는 보통 실험을 시작하기 전에 정하는 값이고, 잘못 잡으면 낭비이거나 부족이다. 시험-검증 확장은 이 선택을 사후로 미룰 수 있게 해준다. 특히 온디바이스나 로보틱스처럼 연산 예산이 빠듯한 환경에서 가치가 있다.
동시에 한계도 분명하다. 단독 저자 논문이고 실험은 소규모 과제 세 개다. 다루는 모델이 파라미터 수십만 급이라 요즘 대형 모델과는 스케일이 몇 자릿수 차이 난다. 작은 규모에서 잘 작동한 성장 규칙이 큰 규모에서도 통한다는 보장은 없고, 논문도 그 검증까지는 하지 않았다. 56배라는 숫자 역시 특정 과제와 특정 비교 대상에서 나온 값이라 일반적인 지표처럼 인용하기에는 무리가 있다.
마무리
SCG가 던지는 질문은 기술적이라기보다 습관에 대한 것이다. 우리는 모델 크기를 왜 항상 먼저 정할까. 과제가 얼마나 어려운지 모르는 상태에서 내리는 그 결정은 사실 추측에 가깝다. 작게 시작해 필요할 때 키우고 아니면 되돌리는 방식이 적어도 소규모에서는 작동한다는 것을, 이 논문은 숫자로 보여줬다.
출처: Frederik Berenz, "Successive Capacity Growth: Task-Complexity-Driven Width and Depth Expansion for Vision Transformer Encoders in JEPA World Models", arXiv:2608.27367, 2026년 8월 27일.