📄 AI 여론조사, 사람처럼 마음을 바꾸지 못했다

사람 대신 AI에게 물어보는 여론조사

여론조사는 비싸고 느리다. 그래서 몇 년 전부터 연구자들 사이에서 '실리콘 샘플링(silicon sampling)'이라는 발상이 퍼졌다. 나이, 지역, 정치 성향 같은 인구학적 정보를 LLM에 인격(페르소나)으로 부여한 뒤, 그 가상의 응답자에게 설문 문항을 던지는 것이다. 수백 명분 응답을 몇 분 만에 얻을 수 있으니 매력적이다.

이 방식이 제대로 작동하는지는 지금까지 주로 한 가지 기준으로 평가됐다. 페르소나가 '옳은 의견'을 갖고 있는가. 즉 보수 성향 페르소나가 보수적으로 답하는가를 보는 정적인 스냅숏이다. Ahmed Wali와 Hassaan Tayyab이 2026년 9월 14일 arXiv에 올린 논문은 이 기준이 여론조사에서 정작 중요한 것을 놓치고 있다고 지적한다.

무엇을 했는가: 의견이 아니라 '의견의 변화'를 본다

현실의 여론 연구, 특히 숙의 여론조사(deliberative polling)는 사람들이 새로운 정보와 반대 논거를 접한 뒤 생각을 어떻게 바꾸는지를 본다. 의견 자체보다 의견이 움직이는 방식이 핵심이다. 그런데 이걸 측정하는 벤치마크는 없었다.

연구진은 사람과 LLM에게 동일한 정보 개입을 준 뒤 신념 변화량을 비교하는 '숙의 진단 프레임워크'를 만들었다. 실제 숙의 여론조사 프로젝트인 America in One Room 데이터를 썼고, 페르소나 526명과 문항 72개가 대상이었다. 결과는 단순하다. 검증한 프런티어 모델 5종이 전부 실패했고, 실패하는 방식이 모델마다 달랐다.

GPT-5.1의 역전은 선택적으로 나타났다. 외집단(상대 진영)에 관한 문항에서는 80%가 역전됐지만 정책 문항에서는 26%에 그쳤고, 이 패턴은 진보·보수 양쪽 정체성에서 대칭적으로 관찰됐다.

어떻게 된 것인가: 정보가 아니라 고정관념에 반응한다

표적 절제 실험(ablation)에서 연구진은 두 가지를 확인했다. 첫째, 이런 실패를 유발하는 것은 정책 관련 내용이었다. 둘째, 실패는 정체성에 따라 달라졌다. GPT-5.1은 외집단 문항에서 역전하고 내집단 문항에서는 과잉 반응했는데, Gemini는 정확히 그 반대 패턴을 보였다.

연구진은 이 현상을 자기 아첨(self-sycophancy)이라고 부른다. 모델이 주어진 정보를 읽고 추론해서 의견을 갱신하는 것이 아니라, 자기가 갖고 있는 '이런 사람은 이렇게 반응할 것'이라는 내부 고정관념에 맞추어 답을 낸다는 뜻이다. 아첨(sycophancy)이 보통 사용자에게 맞춰주는 것을 가리킨다면, 여기서는 모델이 자기 자신의 스테레오타입에 맞춰준다.

그래서 진짜 의미하는 것

이 연구에서 오해하기 쉬운 지점은 "모델이 편향돼 있다"는 익숙한 결론으로 요약해버리는 것이다. 논문이 말하는 것은 조금 다르다. 이 모델들은 정적 평가에서는 꽤 그럴듯한 정당별 의견을 만들어낸다. 겉으로 보기에 통과한다. 문제는 그 그럴듯한 의견이 '어떻게 바뀌는가'를 물었을 때 드러난다.

실무적으로 이건 꽤 무거운 함의를 갖는다. AI 페르소나로 정책 메시지를 사전 테스트하거나, 캠페인 반응을 시뮬레이션하거나, 설문 문항을 미리 검증하려는 시도가 늘고 있다. 그런 용도는 본질적으로 '개입 후 반응'을 예측하는 일이다. 그런데 바로 그 지점이 검증된 적 없는 영역이었다. GPT-5.1처럼 방향 자체가 뒤집히는 모델을 썼다면, 결과는 틀린 정도가 아니라 정반대일 수 있다.

주의할 점도 있다. 이 연구는 미국 정치 지형의 특정 데이터셋 하나를 기반으로 하고, 모델 5종만 검증했다. 한국을 포함한 다른 정치·문화 맥락에서 같은 패턴이 나타날지는 별도 확인이 필요하다. 또한 모델 버전이 바뀌면 결과도 달라질 수 있다.

마무리

논문의 제안은 실용적이다. LLM 페르소나로 여론을 흉내 내기 전에, 먼저 숙의 진단을 돌려보라는 것이다. 의견을 맞히는 능력과 의견이 바뀌는 방식을 맞히는 능력은 별개이고, 여론조사에서 정작 필요한 것은 후자인 경우가 많다.

출처

Ahmed Wali, Hassaan Tayyab, "Before You Poll with LLMs: A Deliberative Diagnostic Framework", arXiv:2609.15849v1, 2026년 9월 14일. https://arxiv.org/abs/2609.15849v1