모델 증류 방어, 강화학습 한 번에 무너졌다
잘 만든 AI 모델은 비싸다. 데이터를 모으고, 사람 피드백을 받고, 수많은 실험을 돌려야 한다. 그런데 완성된 모델을 베끼는 일은 그보다 훨씬 싸다. 모델에게 어려운 문제를 잔뜩 물어보고, 그 풀이 과정을 대량으로 모은 다음, 자기 모델에게 그 풀이를 따라 하도록 학습시키면 된다. 이것이 증류(distillation) 공격이다.
그래서 모델을 만든 쪽은 방어책을 붙인다. 추론 과정을 감추거나, 요약만 보여주거나, 형식을 바꿔 내보낸다. 2026년 9월 arXiv에 공개된 한 연구는 이 방어책들을 다시 시험해보고, 상당수가 생각만큼 튼튼하지 않다고 보고한다. 흥미로운 것은 새로운 공격 기법을 만들어서 뚫은 것이 아니라는 점이다. 이들이 바꾼 것은 언제 방어를 평가하는가였다.
무엇이 문제였는가
기존 방어 연구의 평가 방식에는 조용한 가정이 하나 깔려 있었다. 공격자가 궤적을 수집해 증류를 끝내면 거기서 멈춘다는 가정이다. 그래서 방어의 효과도 증류가 끝난 직후의 성능으로 측정했다. 그 시점에 공격자 모델이 원본을 잘 따라오지 못하면 방어가 성공했다고 판단했다.
연구진은 이 가정이 현실과 다르다고 지적한다. 실제 공격자는 증류로 얻은 모델을 그대로 쓰지 않는다. 거기서 출발해 강화학습을 더 돌린다. 증류가 초기값을 만들어주는 단계라면, 강화학습은 그 초기값을 다듬어 실제 성능을 끌어올리는 단계다. 그렇다면 방어도 그 뒤까지 버텨야 한다.
이 관점을 적용하자 결과가 바뀌었다. 증류 직후에는 효과적으로 보였던 방어들이, 후속 강화학습을 거치면 무력해졌다. 방어가 흘린 정보가 완전한 추론 궤적을 복원할 정도는 아니었지만, 강화학습이 출발점으로 쓸만한 정도는 됐기 때문이다.
왜 강화학습이 판을 바꾸는가
핵심은 강화학습이 증류 공격의 문턱을 낮춘다는 점이다.
증류만으로 원본 성능에 다가가려면 질 좋은 궤적이 많이 필요하다. 방어가 궤적을 흐리면 이 경로는 막힌다. 그런데 강화학습은 완전한 정답 궤적을 요구하지 않는다. 대략적인 방향만 잡아주면, 그 뒤는 스스로 시도하고 보상을 받아가며 채워 넣는다. 즉 방어가 궤적을 흐려도, 공격자에게 '어느 방향으로 가야 하는지'를 알려줄 만큼의 정보만 남으면 충분하다.
연구진은 현재 상용 API에서 손쉽게 얻을 수 있는 데이터만으로도 이 경로가 열린다는 것을 보였다. 숨겨진 전체 추론 과정을 억지로 빼내는 정교한 공격을 쓰지 않아도, 단순한 수집과 후속 강화학습의 조합이 비슷한 수준의 성능 향상을 가져왔다.
여기서 저자들이 끌어내는 결론은 꽤 강하다. 근사적인 추론 궤적을 복원할 만큼의 정보를 흘리는 방어라면, 사실상 효과가 없을 가능성이 높다는 것이다.
그래서 진짜 의미하는 것
이 연구를 읽는 방식을 두 가지로 나눠볼 수 있다.
좁게 읽으면, 특정 방어 기법들에 대한 반박이다. 하지만 더 중요한 층은 방법론 쪽에 있다. 이 논문이 실제로 지적하는 것은 위협 모델을 어디까지 잡느냐가 안전성 판단을 좌우한다는 점이다. 공격자의 행동 범위를 실제보다 좁게 가정하면, 측정 결과는 깨끗하게 나오지만 그 깨끗함은 현실을 반영하지 않는다. 안전해진 것이 아니라 안전해 보이게 측정한 것이다.
이 함정은 증류 방어에만 있는 것이 아니다. 탈옥 방어, 워터마크, 프롬프트 유출 차단에서도 같은 구조가 반복된다. 평가 시점을 공격의 마지막 단계보다 앞에 두면 방어는 늘 실제보다 강해 보인다.
다만 과도하게 읽지는 말아야 한다. 이 논문은 증류를 막을 방법이 없다고 말하지 않는다. 오히려 대안 방향을 제시한다. 개별 응답 단위로 정보를 가리는 대신, 배치 단위에서 방어하자는 것이다. 한 번의 응답에서 무엇을 숨길지가 아니라, 대량 수집 자체가 성립하기 어렵게 만드는 쪽으로 무게를 옮기자는 제안이다. 물론 이 방향은 논의 수준이고, 이 논문에서 실증된 처방은 아니다.
실무 쪽에 남는 것은 두 가지다. 모델을 제공하는 입장이라면, 방어의 효과를 증류 직후가 아니라 '증류 후 추가 학습까지 거친 뒤'에 재봐야 한다. 그리고 모델을 고르는 입장이라면, 추론 과정 노출 정책을 보안 기능으로 과대평가하지 않는 편이 안전하다.
마무리
보안 연구에서 자주 반복되는 교훈이 여기서도 나타난다. 방어가 깨지는 지점은 대개 새로운 기술이 아니라, 우리가 가정하지 않았던 공격자의 다음 행동이다. 이 논문이 한 일은 그 다음 행동 하나를 가정에 추가한 것뿐이다. 그 하나로 여러 방어가 무너졌다면, 문제는 방어 기법이 아니라 우리가 그린 공격자의 초상에 있었던 셈이다.
출처
Shidan Javaheri, Alexander Panfilov, Oliver Britton 외 2명, "Distillation Defenses Easily Break After Reinforcement Learning", arXiv:2609.35699, 2026년 9월 28일. https://arxiv.org/abs/2609.35699v1