멀티턴 탈옥 방어, 얕은 정렬을 거꾸로 쓰는 법
챗봇에 유해한 요청을 그대로 던지면 대부분 거절한다. 그런데 같은 요청을 여러 번의 대화로 잘게 쪼개 돌려 물으면 꽤 자주 통한다. 이 현상은 실험실 얘기가 아니라 실제 서비스에서 가장 흔한 사고 유형이고, 국내 기업들이 챗봇을 열 때마다 반복해서 겪는 문제다. 이번 논문은 그 원인을 모델 내부에서 짚고, 원인을 그대로 방어 수단으로 뒤집었다.
안전은 첫 몇 토큰에 몰려 있다
연구진이 지적하는 원인은 얕은 정렬이다. 안전 정렬 학습을 거친 모델의 거절 행동은 응답의 첫 몇 토큰에 집중되어 있다. 첫머리가 거절 쪽으로 열리면 그 뒤가 거절문으로 흘러가고, 협조적으로 열리면 뒤도 따라간다. 요청을 여러 턴에 걸쳐 나누면 결정적인 순간에 모델이 앞 문맥을 이미 협조 중인 대화로 읽게 되고, 첫머리가 협조적으로 열리면서 그대로 뚫린다.
기존 방어가 잘 듣지 않는 이유도 여기 있다. 대부분의 방어는 응답의 표면 형태를 지도한다. 이런 질문에는 이렇게 답하라는 식으로 완성된 문장을 가르친다. 그러면 모델은 거절문의 문체를 배우지만, 지금 이 요청을 거절할지 말지를 명시적으로 결정하는 훈련은 받지 못한다. 약점의 구조가 그대로 남는다.
평가, 결정, 응답
ShallowDefend의 발상은 간단하다. 짧은 구간이 응답 전체의 방향을 정한다면, 그 구간을 방어자가 먼저 차지하면 된다. 모델은 답을 쓰기 전에 세 단계를 거친다.
| 단계 | 하는 일 |
|---|---|
| 평가 | 사용자의 의도를 판단한다 |
| 결정 | 안전 판단을 기계가 읽을 수 있는 형태로 명시적으로 선언한다 |
| 응답 | 그 선언을 조건으로 답을 생성한다 |
핵심은 두 번째 단계다. 판단이 그냥 생각으로 흘러가지 않고 파싱 가능한 토큰 구간으로 박혀 남는다. 그리고 그 선언을 공격이 실제로 들어오는 턴에서 강화학습으로 훈련한다.
이 설계의 실용적 이점이 여기서 나온다. 판단이 토큰 구간이니 그 라벨이 대화의 실제 성격과 맞는지 규칙으로 바로 검사할 수 있다. 즉 자기검증 보상이 가능해지고, 별도의 심판 모델이나 사람의 주석 없이 보상을 만들 수 있다. 같은 형식으로 LLM 심판을 쓰는 변형이나, 단순 거절이 아니라 안전한 방향으로 대화를 돌리는 등급화된 결정도 지원한다.
결과는 두 모델 계열과 안전성·유용성·도움성을 아우르는 14개 벤치마크에서 측정했다. 통제된 비교에서 멀티턴 안전성 1위를 유지하면서 유용성도 지켰고, 토큰별 KL 분석과 개입 실험으로 응답의 방향을 정하는 짧은 숙고 구간에 학습 효과가 집중된다는 설명도 확인했다.
그래서 진짜 의미하는 것
눈여겨볼 대목은 논문이 공짜 점심을 주장하지 않는다는 점이다. 안전성과 유용성은 지켰지만 도움성에는 적당한 비용이 있다고 적었다. 안전 방어를 강화하면 정상 요청까지 조심스러워지는 과잉 거절이 늘어나는데, 그 대가를 숨기지 않았다. 안전 관련 논문이 대체로 좋은 숫자만 보여준다는 점을 감안하면 이 솔직함이 오히려 신뢰를 높인다. 실무에서는 이 비용이 수용 가능한 수준인지가 도입의 실제 기준이 된다.
또 하나 중요한 점은 비용 구조다. 심판 모델도 사람 주석도 필요 없는 규칙 기반 보상이라는 설계는 안전 학습의 진입 장벽을 낮춘다. 멀티턴 안전 데이터를 사람이 라벨링하는 비용은 작은 조직이 감당하기 어려운데, 판단을 토큰으로 선언하게 만들면 그 라벨을 자동으로 검증할 수 있다. 한국어처럼 안전 데이터가 영어보다 훨씬 부족한 환경에서는 이 차이가 특히 크다.
반대로 과장하면 안 되는 부분도 있다. 14개 벤치마크에서의 1위는 통제된 비교에서의 결과이고, 실제 공격자는 벤치마크에 없는 방식으로 온다. 명시적 결정을 토큰으로 선언하게 만든 구조 자체가 새로운 공격면이 될 수 있다는 지점도 열려 있다. 선언 구간을 겨냥해 특정 라벨을 유도하는 공격이 가능한지는 후속 검증이 필요한 문제다.
마무리
이 논문이 남기는 교훈은 방법보다 관점에 있다. 얕은 정렬은 오랫동안 약점으로만 이야기됐다. 그런데 짧은 구간이 전체를 좌우한다면, 그 구간은 가장 취약한 곳이면서 동시에 개입 효율이 가장 높은 곳이다. 공격자가 노리는 지점을 방어자가 먼저 점유한다는 발상은 다른 안전 문제에도 옮겨볼 만하다.
출처: Qiyao Ma, Xiaodong Liu, Weiwei Yang 외, "ShallowDefend: Harnessing Shallow Safety Alignment for Multi-Turn Defender", arXiv:2610.40627v1 (2026-10-29). https://arxiv.org/abs/2610.40627v1