📄 AI 설득 기법, 큰 요청 거절 뒤엔 정말 통할까
방문판매원이 100만 원짜리 백과사전을 권한다. 거절한다. 그러면 곧바로 "그럼 이 5만 원짜리 소책자라도"라고 말한다. 처음부터 소책자만 권했을 때보다 사는 사람이 늘어난다. 사회심리학에서 door-in-the-face(문전박대 기법)라고 부르는 현상이다. 사람의 미안함과 상호성 감각을 이용하는 기법인데, 감정도 체면도 없는 언어 모델에게도 이게 통할까? 9월 2일 arXiv에 올라온 한 연구가 이 질문을 9개 모델에 직접 물었다.
실험 설계
방법은 단순하다. 모델에게 먼저 거절당할 만한 큰 요청을 한다. 모델이 거절한다. 그 직후에 더 작은 요청을 한다. 이때의 수락률을, 처음부터 작은 요청만 했을 때의 수락률과 비교한다. 차이가 있다면 앞선 거절이 뒤의 행동에 영향을 준 것이다.
결과는 계열마다 갈렸다
| 모델 | 큰 요청 거절 후 | 바로 작은 요청만 | 방향 |
|---|---|---|---|
| Anthropic Opus 5 | 65.8% | 29.3% | 기법이 통함 |
| OpenAI·Google 프런티어 모델, Haiku 4.5 | 15.5~23.0포인트 하락 | 기준 | 역효과 |
Opus 5는 사람과 비슷하게 반응했다. 큰 요청을 거절한 직후 작은 요청 수락률이 65.8%로, 곧바로 작은 요청만 했을 때의 29.3%보다 두 배 이상 높았다. 반면 OpenAI와 Google의 프런티어 모델, 그리고 Haiku 4.5는 정반대였다. 앞서 한 번 거절하고 나면 그다음 요청도 더 잘 거절했고, 수락률이 15.5~23.0포인트 떨어졌다.
통제 실험도 흥미롭다. 앞선 큰 요청이 뒤 요청과 주제상 관련이 있을 때, 모든 모델에서 영향이 더 컸다. 즉 어느 모델이든 직전 대화 맥락에 반응하기는 한다. 다만 그 반응이 누그러지는 방향인지 굳어지는 방향인지가 계열마다 달랐다.
무엇을 오해하기 쉬운가
첫 번째 오해는 이것을 "AI 뚫는 법"으로 읽는 것이다. 실험에서 다룬 것은 큰 요청과 작은 요청 사이의 수락률 변화이지, 금지된 내용을 끌어내는 데 성공했다는 이야기가 아니다. 실제로 연구에서 거절된 요청 265건 중 263건은 요청을 설명 형태로 바꾸자 수락됐는데, 이는 모델이 원래부터 설명은 해주도록 설계돼 있다는 뜻에 가깝다.
두 번째 오해는 "일관성이 높은 쪽이 좋은 모델"이라고 단정하는 것이다. 앞선 거절 때문에 다음 요청도 굳어버리는 모델은 방어적으로는 안전해 보이지만, 사용자가 요청을 정당하게 좁혀서 다시 물었을 때도 계속 막을 수 있다. 반대로 맥락에 따라 유연해지는 모델은 도움은 잘 되지만 대화 흐름 자체가 판단에 영향을 준다는 뜻이다. 어느 쪽도 공짜가 아니다.
그래서 진짜 의미하는 것
이 연구가 실제로 보여주는 것은 거절이 대화 안의 한 사건이라는 사실이다. 우리는 흔히 모델의 안전 판단을 요청 하나하나에 붙는 고정된 라벨처럼 생각한다. 위험한 요청이면 거절, 아니면 수락. 그런데 같은 요청이라도 그 앞에 무슨 말이 오갔느냐에 따라 결과가 두 배씩 달라진다면, 안전성은 요청의 속성이 아니라 대화의 속성이다.
평가 방식에 곧바로 함의가 생긴다. 지금 대부분의 거절 벤치마크는 요청 하나를 던지고 응답을 채점한다. 이 논문의 결과가 맞다면 그 방식은 실제 사용 환경에서의 행동을 제대로 재지 못한다. 사람들은 한 번 묻고 끝내지 않는다. 거절당하면 표현을 바꾸고, 범위를 줄이고, 다시 묻는다.
한 가지 한계는 분명히 해둘 만하다. 단일 저자의 행동 실험이고, 규모도 크지 않다. 모델 계열별 차이가 학습 방식의 근본적 차이에서 온 것인지, 특정 시점 버전의 성질인지는 이 연구만으로 알기 어렵다. 모델은 자주 갱신되므로 같은 실험을 몇 달 뒤에 하면 결과가 달라질 수 있다.
마무리
사람에게 통하는 설득 기법이 모델에게도 통하는지 묻는 실험은 재미있는 소재로 소비되기 쉽다. 하지만 이 연구의 쓸모는 다른 데 있다. 모델의 거절을 한 번의 판정이 아니라 대화의 궤적 위에서 봐야 한다는 것, 그리고 그렇게 보면 지금의 안전성 측정 도구가 놓치는 부분이 꽤 넓다는 것이다.
출처: Til Jordan, "Door-in-the-Face Requests and Refusal Behaviour in Large Language Models", arXiv:2609.02707, 2026년 9월 2일.