AI 챗봇 신뢰, 확신에 찬 거짓말에 사람이 무너진다

조수가 다섯 명인데, 그중 넷이 거짓말을 한다면

챗봇에게 모르는 걸 물어보는 일은 이제 검색만큼 흔해졌다. 그런데 돌아온 답이 틀렸는지 아닌지를 우리는 대체로 모른다. 모르면서도 우리는 대개 그 답을 들고 다음 단계로 넘어간다. 말투에 망설임이 없으면 더더욱 그렇다.

이 지점을 정면으로 찌른 실험이 나왔다. 그동안 '아첨(sycophancy)' 연구는 주로 한 방향만 봤다. AI가 사용자 듣기 좋은 쪽으로 말을 굽히는가. 이번 연구는 질문을 거꾸로 뒤집었다. AI가 확신에 차 있고 일관되며 틀렸을 때, 사람이 AI 쪽으로 굽히는가.

실험: 거짓 비율만 다른 다섯 개의 조수

연구진은 참가자 32명에게 과학 주제 다섯 개를 챗봇과 대화하며 학습하게 했다. 조수 다섯 개는 모두 같은 모델(GPT-5-mini)로 만들었고, 다른 것은 단 하나였다. 각 조수에게 주어진 브리핑에서 사실이 그럴듯한 거짓으로 교체된 비율이다.

참가자는 어느 조수가 어떤 상태인지 몰랐다. 각 주제를 마친 뒤에는 예고 없는 퀴즈가 나왔다. 선택지는 정답, 조수가 심어둔 거짓, 그리고 무관한 오답 둘. 답마다 얼마나 확신하는지도 함께 적게 했다.

숫자가 말하는 것

퀴즈 104회, 답변 1,040개를 모은 결과다.

• 평균 점수: 10점 만점에 7.4점 → 2.9점
• 조작된 항목에서 심어둔 거짓을 고른 비율: 60% (정상 항목은 11%, 오즈비 12.5)
• 조수가 거짓을 말했을 때 그대로 받아들인 비율: 약 65%, 그리고 이 비율은 거짓 비율 0%든 100%든 거의 같았다
• 흡수한 거짓에 대한 확신: 8.4/10
• 확신이 정답과 오답을 가려내는 능력(AUROC): 0.70에서 우연 수준으로 하락 마지막 줄이 핵심이다. 사람이 틀린 답을 고르는 것 자체는 새삼스럽지 않다. 문제는 틀렸을 때 '내가 잘 모르겠다'는 느낌조차 사라졌다는 점이다. 평소에는 확신이 낮은 답이 틀릴 확률이 높다는 느슨한 신호가 작동하는데, 확신에 찬 거짓을 흡수한 뒤에는 그 신호가 완전히 끊겼다.

그런데 사후에 매긴 조수에 대한 신뢰 평점은 거의 움직이지 않았다. 점수가 7.4에서 2.9로 떨어지는 동안에도 참가자들은 조수를 비슷하게 신뢰했다.

왜 '다시 물어보기'가 구제책이 못 되는가

가장 불편한 결과는 행동 쪽이다. 참가자들은 조수가 나쁠수록 채팅으로 더 자주 돌아왔다. 직관적으로는 이게 방어 행동처럼 보인다. 뭔가 이상하니 확인하러 가는 것.

하지만 돌아가는 횟수가 많을수록 거짓 흡수는 더 많아졌다. 그리고 전체 대화 턴의 30%가 퀴즈 문제를 그대로 복사해 조수에게 되묻는 것이었다. 검증 대상에게 검증을 맡긴 셈이다.

여기에 한 가지 더. 이 실험에서 조수 자신은 거의 아첨하지 않았고, 참가자가 반박해도 끝까지 물러서지 않았다. 흔히 말하는 'AI가 사용자에게 굽히는' 문제가 전혀 없는 조건에서도 사람 쪽 붕괴는 그대로 일어났다는 뜻이다.

그래서 진짜 의미하는 것

이 연구를 'AI를 믿지 말라'로 요약하면 절반은 놓친다. 몇 가지를 구분해서 볼 필요가 있다.

먼저, 과장하지 않아야 할 부분. 참가자는 32명이고 모델은 GPT-5-mini 하나다. 브리핑의 사실을 최대 100%까지 거짓으로 바꾼 설정은 현실의 환각률보다 훨씬 극단적이다. 그러니 "챗봇으로 공부하면 점수가 7.4에서 2.9로 떨어진다"는 식으로 수치를 그대로 옮기는 것은 틀린 독해다. 이 연구가 측정한 건 조수가 틀렸다는 조건 아래에서 사람이 그것을 걸러내는 비율이고, 그 비율이 거의 0에 가까웠다는 것이다.

다음으로, 오해하기 쉬운 부분. "확신에 찬 말투가 문제니 AI가 겸손하게 말하면 된다"는 처방이 바로 떠오른다. 하지만 이 연구에서 흡수율은 거짓 비율 25%일 때와 100%일 때가 거의 같았다. 즉 사람이 조수의 전반적인 품질을 감지해 경계 수준을 조절한 게 아니다. 애초에 조절 자체가 일어나지 않았다. 말투를 부드럽게 하는 것만으로 메워질 간격이 아니다.

실무에 어떤 의미인가. 저자들이 내놓은 틀이 유용하다. 신뢰성은 모델의 속성이 아니라 사람과 AI가 이루는 쌍의 속성이라는 것. 그래서 아첨 평가도 양방향으로 해야 하고, 사람 쪽 굽힘을 재는 지표(Human Deference Index)가 필요하다는 주장이다.

이걸 도구 설계로 옮기면 방향이 분명해진다. 응답 전체에 하나의 신뢰도 배지를 붙이는 방식은 거의 쓸모가 없다. 흡수는 문장 단위로 일어나기 때문이다. 필요한 건 주장별로 근거를 따라갈 수 있게 만드는 것이다. 이 문장이 어느 출처에서 왔는지, 모델이 지어낸 것인지가 문장마다 분리되어 보여야 한다.

개인 차원의 교훈도 하나 있다. 챗봇이 준 답을 같은 챗봇에게 되물어 확인하는 습관은 검증이 아니다. 이 실험에서 가장 흔했던 행동이자, 흡수를 줄이지 못한 행동이다. 확인은 다른 출처로 나가서 해야 한다.

마무리

AI의 환각률을 낮추는 연구는 많다. 이 논문은 그 옆에 다른 질문을 놓는다. 환각이 남아 있는 동안, 사람은 그것을 얼마나 걸러낼 수 있는가. 답은 '거의 못 걸러낸다'였고, 더 나쁜 것은 걸러내지 못했다는 사실조차 알아차리지 못했다는 점이다.

출처

Deepthika S, Pawni Yadav, B. Sankar, "Who Is Sycophantic to Whom? Confident LLMs, Human Deference, and the Collapse of Trust Calibration", arXiv:2610.31579 (2026-10-22)

https://arxiv.org/abs/2610.31579