파운데이션 모델 학습, 단계를 없앴다는 제안

LLM을 만드는 과정은 보통 공장 라인처럼 설명된다. 방대한 텍스트로 사전학습을 하고, 중간학습으로 분야를 보강하고, 지도 미세조정(SFT)으로 지시를 따르게 하고, 마지막에 강화학습으로 다듬는다. 단계마다 데이터가 바뀌고 알고리즘도 바뀐다. 현장에서는 이 구분이 거의 상식이라 팀 조직도 단계별로 나뉘어 있다. 이번 논문은 그 구분이 본질적인 것이 아니라고 주장한다.

네 단계를 하나의 식으로 묶다

핵심 주장은 수식 쪽에 있다. 연구진은 강화학습의 목적함수를 모델이 생성한 목표 분포에 대한 최대우도 적합으로 다시 썼다. 최대우도 적합은 쉽게 말해 주어진 데이터가 나올 확률이 가장 높아지도록 모델을 맞추는 방식이고, 사전학습과 지도 미세조정이 원래 그렇게 돌아간다. 강화학습도 같은 형태로 표현할 수 있다면, 네 단계는 알고리즘이 다른 것이 아니라 어떤 분포에서 온 데이터를 먹이는지만 다른 셈이 된다.

그러면 학습 설계의 질문이 바뀐다. "지금은 어느 단계인가"가 아니라 "어떤 데이터를 어떤 비율로 언제 쓸 것인가"가 된다. 기존의 단계식 학습은 이 일반적인 설계 공간 안의 한 가지 특수한 선택, 즉 데이터 비율을 단계마다 0과 1로 몰아 놓은 경우가 된다.

실제로 돌려 보면

연구진은 이 관점을 실제 시스템으로 구현했다. 이미 있는 정적 데이터와 모델이 스스로 만든 강화학습 생성물을 한 트레이너 안에서 섞는 방식이다. 통제된 실험과 실제 과제 양쪽에서 정확도 대비 연산 효율과 과제 커버리지가 개선됐고, 폭넓은 능력을 잃지 않으면서 지속 학습의 출발점도 더 좋아졌다고 보고한다.

여기서 과제 커버리지와 폭넓은 능력 유지라는 표현에 주목할 만하다. 단계식 학습의 고질적 문제 중 하나가 뒤 단계에서 앞 단계의 능력을 잊어버리는 현상인데, 단계 경계를 없애고 데이터를 섞어 넣으면 그 경계에서 생기는 손실도 줄어든다는 이야기로 읽힌다.

그래서 진짜 의미하는 것

과장하기 쉬운 지점을 먼저 정리하자. 이 논문은 통합 학습이 단계식 학습보다 항상 낫다고 말하지 않는다. 주장은 정확도와 연산의 트레이드오프가 개선된다는 것이고, 기존 단계식 학습을 특수한 경우로 품는다. 즉 단계식이 최선인 조건도 이 틀 안에 그대로 남아 있다. 바뀌는 것은 성능 순위표가 아니라 선택지의 구조다.

그럼에도 파급력이 큰 이유는 세 가지다. 첫째, 학습 파이프라인을 운영하는 입장에서 조정 손잡이가 달라진다. 단계 순서와 전환 시점을 고민하던 자리에 데이터 비율 스케줄이 들어선다. 둘째, 지속 학습의 출발점이 좋아진다는 결과는 모델을 한 번 만들고 끝내지 않는 쪽, 즉 계속 업데이트하며 운영하는 쪽에 직접 이득이다. 셋째, 단계가 사라지면 조직 구분도 흔들린다. 사전학습팀과 사후학습팀을 나누는 관행이 알고리즘의 필연이 아니라 그저 관행이었다는 뜻이 된다.

한계는 검증 범위다. 67쪽 분량의 보고이지만, 단일 알고리즘으로의 환원이 최전선 규모의 모델에서도 같은 이득을 주는지는 이 논문만으로 단정할 수 없다. 통합 학습의 실익은 결국 어떤 데이터를 언제 얼마나 쓸지 잘 고르는 능력에 달려 있고, 그 스케줄링 자체가 새로운 난제로 넘어간다. 단계 구분이라는 기존 답은 거칠었지만 적어도 기본값이 있었다. 통합된 설계 공간은 더 넓은 대신 길잡이가 없다.

마무리

좋은 이론적 재구성은 새 성능 기록보다 오래 남는다. 이 논문의 기여는 숫자가 아니라 질문의 교체다. 앞으로 학습 레시피 논의가 어느 단계에서 무엇을 하느냐에서 데이터 혼합을 어떻게 설계하느냐로 옮겨간다면, 그 출발점으로 꾸준히 인용될 연구다.

출처: Yuda Song, Alvin Zhang, Fahim Tajwar 외, "Training Foundation Models with a Single Algorithm", arXiv:2610.40564v1 (2026-10-29). https://arxiv.org/abs/2610.40564v1