📄 LLM 양자화, 손상은 특정 레이어에 없다
GPU 메모리가 모자라 모델을 4비트로 줄여본 적이 있다면, 그다음에 찾아오는 실망도 익숙할 것이다. 분명 잘 돌아가던 모델이 답을 뭉개기 시작한다. 학습 후 양자화(PTQ, Post-Training Quantization)는 이미 학습이 끝난 모델의 가중치를 더 낮은 비트로 표현해 메모리와 서빙 비용을 줄이는 기법이다. 문제는 그 대가가 모델마다 제각각이라는 점이다. 어떤 모델은 4비트에서도 멀쩡하고 어떤 모델은 무너진다. 그래서 현장에서는 "이 레이어는 민감하니 8비트로 남겨두자" 같은 수작업 튜닝이 사실상 관행으로 굳었다.
2026년 9월 1일 arXiv에 올라온 Jundong Hu와 Shekar Ramachandran의 논문은 그 관행이 딛고 선 전제를 정면으로 겨눈다. 정말로 양자화 손상은 몇몇 '민감한 레이어'에 몰려 있는가?
무엇을 했는가
연구팀은 먼저 채점 기준부터 만들었다. 4개 아키텍처 계열에 걸친 오픈웨이트 모델 9개를 대상으로, 레이어를 하나씩 8비트로 되돌린 뒤 그때 회복되는 정확도를 측정한 것이다. 이것이 인과적 혼합 정밀도 개입(causal mixed-precision intervention)이다. 무언가와 상관관계가 있는지 관찰하는 게 아니라 실제로 바꿔보고 결과를 재기 때문에, "이 레이어에 비트를 더 주면 얼마나 이득인가"에 대한 직접적인 답이 된다.
그 답지를 손에 쥔 상태에서, 업계에서 널리 통용되는 세 가지 직관을 검증했다.
| 가설 | 주장 내용 |
|---|---|
| 태스크 회로 | 손상은 모델이 과제를 푸는 핵심 회로에 몰려 있다 |
| 계산 위치 | 손상은 모델이 실제로 연산을 수행하는 지점에 있다 |
| 가중치 통계 | 가중치 분포(이상치 등)를 보면 어느 레이어가 취약한지 알 수 있다 |
결과는 셋 다 빗나갔다. 세 가설 중 어느 것도 정밀도 복원의 이득을 실제로 보는 레이어가 어디인지 예측하지 못했다.
그래서 어떤 그림이 나왔나
가설들이 실패한 자리에서 드러난 실제 구조는 이렇다.
첫째, 손상은 몰려 있지 않고 넓게 퍼져 있다. 저격할 만한 소수의 범인이 존재하지 않는다는 뜻이다.
둘째, 그래서 추가 비트 예산을 쓰는 방법도 달라진다. 회복 가능한 몇 개 레이어를 골라 보호하는 것보다, 양자화 입도(granularity) 자체를 전체적으로 더 촘촘하게 만드는 편이 우수했다. 논문 제목의 "다음 한 비트는 전역적으로 써야 한다"는 이 결론을 가리킨다. 예산은 한정돼 있고, 그 예산을 국소 방어에 쏟는 것은 손해라는 것이다.
셋째, 회복 지점은 같은 아키텍처 계열 안에서는 상관관계를 보였지만 계열을 넘어서면 이전되지 않았다. Llama 계열에서 얻은 튜닝 감각을 다른 계열 모델에 그대로 가져다 쓸 근거가 없다는 뜻이다.
그래서 진짜 의미하는 것
이 논문에서 가장 눈여겨볼 대목은 새 기법을 제안한 부분이 아니라, 기존 통념을 반증한 부분이다. 부정 결과는 화제성이 떨어져 논문으로 잘 나오지 않지만, 헛수고를 줄여준다는 점에서는 실무자에게 더 값지다.
다만 과장하지 않고 읽을 필요가 있다. 이 결과는 "레이어별 혼합 정밀도가 쓸모없다"는 뜻이 아니다. 논문이 부순 것은 어느 레이어를 올릴지 사전에 저렴하게 알아맞힐 수 있다는 믿음이다. 인과적 개입으로 일일이 재보면 이득이 큰 레이어는 여전히 존재한다. 문제는 그걸 미리 알아내는 값싼 지표가 없다는 것이고, 그 측정 비용을 치를 바에는 전역적으로 입도를 높이는 게 낫다는 것이다.
또 하나 조심할 점이 있다. 실험은 9개 오픈웨이트 모델과 4개 계열이라는 범위 안에서 이뤄졌다. 계열 간 이전이 안 된다는 발견 자체가, 이 결론을 미검증 아키텍처에 함부로 확장하면 안 된다는 경고이기도 하다. MoE 구조나 초대형 모델, 혹은 한국어처럼 특정 언어에 특화된 파인튜닝 모델에서 같은 패턴이 나올지는 아직 열려 있는 질문이다.
실무자에게 남는 지침은 비교적 단순하다. 양자화 설정을 고민할 때 레이어별 예외 규칙을 손으로 쌓기보다, 그룹 크기를 줄이는 등 전역 입도를 조정하는 쪽을 먼저 시도해볼 만하다. 그리고 다른 모델에서 검증됐다는 양자화 레시피를 계열이 다른 모델에 그대로 옮겨 붙이는 것은, 이 논문 기준으로는 근거가 약한 선택이다.
출처
Jundong Hu, Shekar Ramachandran, "The Structure of Quantization Damage in LLMs: Why the Next Bit Should Be Spent Globally", arXiv:2609.01587, 2026년 9월 1일. https://arxiv.org/abs/2609.01587v1