📄 LLM 양자화가 작동하는 이유, 오차는 왜 안 쌓일까
노트북에서 7B 모델을 돌려본 사람이라면 한 번쯤 이상하다고 느꼈을 것이다. 원래 16비트로 저장되던 가중치를 4비트로 깎아냈는데, 답변 품질이 거의 그대로다. 파라미터 하나하나에 오차를 집어넣었고, 그 오차는 수십 개 층을 거치며 뒤로 전달되는데도 말이다.
산수로만 보면 이건 말이 안 된다. 층마다 새 오차가 더해지고 앞 층의 오차가 증폭되면, 마지막 층에 도달할 즈음엔 원래 계산과 완전히 다른 값이 나와야 한다. 실제로 무작위로 초기화한 모델을 양자화하면 정확히 그런 일이 벌어진다. 오차가 빠르게 불어나 은닉 상태가 망가진다. 그런데 사전학습을 마친 모델은 그렇지 않다. 학습 중에 양자화 노이즈를 한 번도 겪어본 적이 없는데도 그렇다.
9월 10일 arXiv에 올라온 논문은 이 질문을 제목으로 그대로 내걸었다. 학습 후 양자화(PTQ)는 왜 작동하는가.
무엇을 했는가
연구진은 같은 모델의 전체 정밀도(FP) 순전파와 양자화 순전파를 나란히 놓고, 층을 지날 때마다 두 은닉 상태의 차이가 어떻게 변하는지를 추적했다. 접근 방식 자체는 단순하지만, 이 비교가 답을 두 갈래로 갈라준다.
| 비교 대상 | 은닉 상태 오차의 거동 |
|---|---|
| 무작위 초기화 모델 | 층을 지날수록 빠르게 누적 |
| 사전학습된 모델 | 훨씬 느리게 증가, 다운스트림 성능 대체로 유지 |
이 차이가 어디서 오는지를 파고든 결과가 두 가지 메커니즘이다.
첫 번째: 오차가 서로를 상쇄한다
각 층이 새로 만들어내는 양자화 오차는, 그 층이 입력에서 물려받은 오차와 반대 방향을 향하는 경향이 있었다. 두 오차가 부분적으로 상쇄되면서, 전체 정밀도 계산과 양자화 계산 사이의 간극이 아주 느리게만 벌어진다.
중요한 건 이 성질이 설계된 것이 아니라는 점이다. 연구진은 이 '상쇄하는 잔차 상호작용'이 사전학습 과정에서 자연히 형성된다는 것을 확인했다. 정량 분석에서도 이 요인이 은닉 오차 증가를 늦추는 주된 힘으로 지목됐다. 모델은 양자화를 대비해 학습한 적이 없지만, 대량의 데이터로 학습하는 과정에서 얻은 어떤 구조가 결과적으로 양자화 내성을 만들어낸 셈이다.
두 번째: 마지막 관문이 상위 후보를 지켜준다
오차가 완전히 사라지는 건 아니다. 남은 오차는 결국 마지막 LM 헤드(은닉 상태를 어휘 전체의 점수로 바꾸는 층)까지 도달한다. 여기서 두 번째 메커니즘이 작동한다. LM 헤드의 기하학적 구조가 상위 순위 토큰의 점수와 확률을 우선적으로 보존한다는 것이다.
다음 토큰을 고르는 일은 어휘 전체의 정확한 점수를 필요로 하지 않는다. 상위 몇 개의 순서만 유지되면 출력은 같다. 모델이 강하게 확신하는 예측일수록 이 보호를 더 많이 받는다. 연구진은 여러 모델과 양자화 설정에서 이 두 메커니즘을 함께 검증했다.
그래서 진짜 의미하는 것
가장 흔한 오해는 "양자화해도 성능이 안 떨어진다"는 요약이다. 이 논문은 그런 말을 하지 않는다. 오차는 분명히 생기고, 다만 특정 조건에서 출력까지 전달되지 않을 뿐이다. 그리고 그 조건을 알면, 언제 이 행운이 깨지는지도 추론할 수 있다.
모델이 헷갈려 하는 자리가 먼저 깨진다. 두 번째 메커니즘은 상위 후보들의 점수 차가 뚜렷할 때 잘 작동한다. 후보 두셋이 엇비슷하게 경쟁하는 지점이라면 작은 오차로도 순위가 뒤집힐 수 있다. 실무 감각으로 옮기면, 양자화 손실은 평균 점수보다 어려운 입력·모호한 판단·긴 추론 체인의 분기점에서 먼저 드러날 가능성이 크다. 평균 벤치마크 점수만 보고 "괜찮다"고 판단하면 놓치는 영역이 있다는 뜻이다.
사전학습이 충분치 않은 모델은 다르게 행동할 수 있다. 상쇄 메커니즘은 사전학습 중에 형성되는 성질이다. 무작위 초기화 모델에서 오차가 급격히 쌓였다는 대조 실험이 그 근거다. 사전학습을 거친 모델을 쓴다면 이 조건은 대개 충족되지만, 학습이 얕거나 구조가 크게 바뀐 모델에서는 같은 안전장치를 당연히 기대하기 어렵다.
양자화 평가는 출력 품질로 해야 한다. 층별 오차 크기를 재서 "오차가 작으니 안전하다"고 결론짓는 방식은 이 논문의 발견과 어긋난다. 중간 오차의 절대 크기보다 그것이 상쇄되는지, 그리고 최종 순위를 뒤집는지가 실제 품질을 좌우한다.
한계도 있다. 이 논문은 메커니즘을 설명하는 연구이지, 더 나은 양자화 기법을 제안하는 연구가 아니다. 어떤 비트 폭과 어떤 알고리즘을 골라야 하는지는 여전히 별도의 문제로 남는다.
마무리
양자화는 실무에서 오래전에 자리를 잡았지만, 왜 되는지는 대체로 "해보니 되더라"로 통용돼 왔다. 이 논문은 그 경험칙에 이름을 붙인다. 오차는 사라지는 게 아니라 서로를 지우고, 남은 오차는 마지막 관문에서 걸러진다. 공짜로 얻은 성질이 아니라 사전학습이 남긴 유산이라는 점이, 이 연구가 주는 가장 실용적인 통찰이다.
출처
Yuxiang Chen, Michael Beyer, Jun Zhu 외 1명, "Why Does Post-Training Quantization Work?", arXiv:2609.11716, 2026년 9월 10일. https://arxiv.org/abs/2609.11716v1