📄 MoE 과적합, 데이터 반복에 밀집 모델보다 취약한 이유
"데이터가 모자란다"는 말은 이제 AI 업계에서 먼 미래의 걱정이 아니다. 사람이 쓴 양질의 텍스트는 사실상 긁어모을 만큼 긁어모았고, 그래서 같은 데이터를 두 번, 네 번, 여덟 번 반복해 학습시키는 것이 표준 관행이 됐다. 같은 기간 프런티어 모델의 구조도 빠르게 바뀌었다. 모든 파라미터를 매번 계산하는 밀집(dense) 트랜스포머에서, 토큰마다 전체 파라미터 중 일부 '전문가'만 켜서 계산량을 아끼는 MoE(Mixture-of-Experts, 전문가 혼합)로 옮겨간 것이다.
문제는 이 두 흐름이 각각은 충분히 검증됐지만, 겹쳐 놓았을 때 무슨 일이 생기는지는 거의 연구되지 않았다는 점이다. 9월 10일 arXiv에 공개된 논문이 정확히 그 빈칸을 메운다. 결론부터 말하면, MoE는 반복 데이터 앞에서 밀집 모델보다 훨씬 빨리 무너진다.
무엇을 측정했는가
연구진은 활성 파라미터 80M에서 1B(총 8.5B) 범위의 모델을 놓고, 데이터 반복 횟수를 바꿔가며 단일 도메인과 다중 도메인 데이터 조합 모두에서 학습을 돌렸다. MoE 쪽은 전문가 개수와 세분성(granularity)까지 함께 변화시켰다. 결과는 모델 크기 전 구간에서 일관됐다.
| 같은 데이터 반복 횟수 | 밀집(dense) 모델 | MoE |
|---|---|---|
| 4배 | 안정적 | 성능 저하 시작 |
| 8배 | 저하 거의 없음 | 뚜렷한 열화 |
| 32배 이상 | — | 밀집 모델보다 낮아짐 |
| 64배 이상 + 강한 마스킹 정규화 | — | 밀집 모델을 다시 앞섬 |
숫자보다 중요한 건 저하 폭을 결정하는 변수다. MoE의 악화 정도는 활성 파라미터가 아니라 총 파라미터로 결정되는 희소성에 비례했다. 다시 말해 "추론 비용은 그대로 두고 총 파라미터만 키운다"는 MoE의 가장 큰 매력이, 그대로 반복 데이터 취약성의 원인이기도 하다는 뜻이다.
왜 이런 일이 생기나
논문이 제시한 내부 메커니즘은 두 가지다.
첫째, MoE의 라우팅(어떤 토큰을 어떤 전문가에게 보낼지 정하는 규칙)은 학습 아주 초기에 안정화된다. 여러 설정에서 공통으로 관찰된 현상이다. 배분이 일찍 굳어버리면 이후 학습은 고정된 분업 구조 위에서만 진행된다.
둘째, 전문가 특화(specialization)가 강할수록 반복 데이터 과적합도 심해졌다. 특정 전문가가 좁은 데이터 조각을 전담하게 되면, 그 조각이 다시 등장할 때 일반화하는 대신 외워버리기 쉽다. 밀집 모델은 모든 파라미터가 모든 데이터를 함께 겪기 때문에 암기 부담이 넓게 흩어지지만, MoE에서는 암기가 국소적으로 집중된다.
처방도 함께 나왔다. 드롭아웃을 비롯한 마스킹 기반 정규화를 강하게 걸면 그림이 달라진다. 강한 마스킹 정규화 아래에서 MoE는 데이터를 64배 넘게 반복하고도 밀집 모델을 앞섰다.
그래서 진짜 의미하는 것
여기서 과장과 사실을 갈라야 한다.
"MoE는 실패한 구조다"는 잘못된 독법이다. 논문이 보여준 것은 데이터가 반복될 때의 상대적 취약성이지, MoE의 무용함이 아니다. 중복 없는 데이터가 충분한 환경에서 MoE는 여전히 같은 계산량으로 더 나은 성능을 낸다. 취약성이 드러나는 건 데이터 예산이 빠듯한 쪽이다.
"드롭아웃 걸면 해결된다"도 과장이다. 논문은 여기에 분명히 선을 긋는다. 어떤 정규화 기법도 중복 없는 데이터로 학습한 성능을 완전히 따라잡지는 못했다. 정규화는 손실을 줄여주는 완충재이지 데이터의 대체재가 아니다.
실무로 옮기면 세 가지가 남는다.
- 아키텍처 선택은 데이터 예산과 분리될 수 없다. 확보 가능한 고유 토큰 수를 먼저 세고, 필요한 반복 배수가 4배를 넘어간다면 MoE 채택은 재검토 대상이다. 고품질 코퍼스 총량이 영어보다 훨씬 적은 한국어 환경에서는 이 임계점에 더 빨리 닿는다.
- 희소성의 청구서는 총 파라미터로 날아온다. 총 파라미터를 키우면 추론 비용은 그대로여도 데이터 요구량은 함께 올라간다. 공짜 점심이 아니다.
- MoE를 쓴다면 정규화 기본값을 다시 잡아야 한다. 밀집 모델 시절에 쓰던 드롭아웃 설정을 그대로 가져오는 것은 위험하다. 이 논문 기준으로는 정규화 강도가 반복 배수의 상한을 직접 결정한다. 한계도 솔직히 적어둘 필요가 있다. 실험 규모는 활성 파라미터 최대 1B, 총 8.5B다. 수백 B급 프런티어 MoE에서 같은 곡선이 그대로 재현된다는 보장은 이 논문에 없다. 또 저자들은 새 기법을 제안한 것이 아니라 기존 정규화 기법을 시험했으며, 과도한 전문가 특화를 막을 방법은 후속 과제로 남겼다.
마무리
이 논문의 값어치는 새 기법이 아니라 새 제약 조건에 있다. 지금까지 "어떤 아키텍처가 계산 대비 성능이 좋은가"와 "데이터를 몇 번 반복해도 되는가"는 따로 결정되던 질문이었다. 이 연구는 그 둘이 사실상 하나의 문제라고 말한다. 모델을 희소하게 만들수록, 데이터는 더 신선해야 한다.
출처
Atindra Jha, Margaret Li, Jure Leskovec 외 2명, "Data Scarcity and Model Sparsity: Mixtures-of-Experts Overfit More to Repeated Data", arXiv:2609.11917, 2026년 9월 10일. https://arxiv.org/abs/2609.11917v1