AI 건강 상담, 누가 묻는지에 따라 답이 달라진다
누군가 담배를 끊고 싶어 AI 챗봇에게 묻는다. "금연하려면 어떻게 해야 하나요?" 옆자리 동료도 같은 질문을 던진다. 두 사람은 같은 답을 받을까? 당연히 그럴 것 같지만, 최근 공개된 감사 연구의 답은 "아니다"에 가깝다. 모델은 질문의 내용만 보는 게 아니라, 질문하는 사람처럼 보이는 것에도 반응한다.
같은 질문을 열두 사람이 던졌다
연구진은 4개 업체가 운영하는 LLM 6종을 골랐다. 주제로 금연을 고른 이유는 분명하다. 임상 지침이 문서로 정리돼 있어 무엇이 정답에 가까운지 비교할 기준이 있고, 공중보건에 걸린 이해관계도 크다.
여기에 생애 단계(청소년과 성인), 스스로 밝힌 전문성(의료인인지 아닌지), 흡연 이력이 서로 다른 12개 사용자 페르소나를 만들었다. 질문 4개에 페르소나 12개, 모델 6종을 곱해 모두 2,880건의 답변을 모아 비교했다.
| 비교 축 | 관찰된 결과 |
|---|---|
| 청소년 대 성인 | 6개 모델 전부가 청소년에게 FDA 승인 처방약을 32~67%p 덜 언급 |
| 전문성을 드러낸 사용자 대 드러내지 않은 사용자 | 6개 중 5개 모델이 전문가로 보이는 쪽에 더 적은 사실을 제공 |
| 시스템 프롬프트 개입 | 모든 모델에서 페르소나 간 격차가 축소, 단 전체 정보량 변화는 모델마다 제각각 |
32~67%p는 작은 차이가 아니다. 어떤 정보를 성인에게는 대부분의 경우 알려주고 청소년에게는 드물게만 알려주는 수준의 격차라는 뜻이다.
연구진이 시험한 처방, '사실의 하한선'
이 연구는 문제를 지적하는 데서 멈추지 않고 배포할 수 있는 개입 하나를 함께 실험했다. 짧은 시스템 프롬프트로 '사실의 하한선'을 지정하는 방식이다. 핵심 의학 정보 목록을 정해 두고, 관련이 있는 상황이라면 사용자가 누구든 이 정보는 반드시 전달하라고 지시한다. 대신 말투와 어휘, 설명을 풀어내는 방식은 상대에 맞춰 자유롭게 바꾸도록 남겨 둔다.
결과는 절반의 성공이었다. 페르소나 간 격차는 모든 모델에서 좁아졌다. 그런데 전체 사실 전달량에 미치는 효과는 모델마다 크기도 방향도 달랐다. 한 모델에서 효과를 확인한 프롬프트가 다른 모델에서도 똑같이 작동한다고 가정할 수 없다는 뜻이다.
그래서 진짜 의미하는 것
여기서 두 가지 오해를 걸러낼 필요가 있다.
첫째, 이 결과를 "AI가 청소년을 차별한다"로 읽으면 과장이다. 연구진 자신이 단서를 달았다. 처방 금연 약물은 미성년자에게 권고되지 않기 때문에, 청소년에게 언급을 줄이는 것이 임상적으로 옳은 판단일 수 있다. 즉 모두에게 똑같은 언급률은 애초에 목표가 아니다. 제대로 된 사실의 하한선은 획일적이지 않고 연령을 인식해야 한다.
둘째, 그렇다고 "문제없다"로 읽어도 틀린다. 진짜 쟁점은 격차가 존재한다는 사실이 아니라, 그 격차가 설계된 것으로 보이지 않는다는 점이다. 모델이 임상 지침을 따져 청소년용 답변을 조정한 결과라면 납득할 수 있다. 하지만 전문성을 드러낸 사용자에게 오히려 사실을 덜 준 패턴은 그런 설명과 맞지 않는다. "전문가니까 알고 있겠지"라는 추론은 임상 지침 어디에도 없다. 페르소나가 주는 신호에 정보량이 흔들렸다고 보는 편이 자연스럽다.
실무로 옮기면 세 가지가 남는다. AI 상담 기능을 붙이는 서비스라면 평균 품질 점수만 보지 말고 사용자 유형별로 쪼개서 측정해야 한다. 안전 프롬프트는 모델을 교체할 때마다 다시 검증해야 한다. 그리고 연령처럼 답이 달라져야 마땅한 축은 모델의 눈치에 맡기지 말고 명시적인 규칙으로 처리하는 편이 안전하다.
한계도 분명히 적어 둔다. 이 연구의 페르소나는 여러 속성을 동시에 바꿨기 때문에, 저자들도 나이나 전문성 각각의 독립적 효과가 아니라 시나리오 수준의 차이로 보고했다. 어떤 속성이 얼마나 기여했는지는 이 연구만으로 분리할 수 없다. 또한 측정 대상은 금연이라는 한 영역이므로, 다른 의료 주제에서 같은 크기의 격차가 나타난다고 단정할 수도 없다.
마무리
AI에게 건강을 묻는 일은 이미 일상이 됐다. 이 연구가 던지는 질문은 "AI가 정확한가"가 아니라 "AI가 누구에게나 똑같이 정확한가"다. 답변 2,880건과 분석 코드가 공개돼 있어 다른 주제로도 같은 감사를 돌려볼 수 있다는 점이 이 연구의 실질적인 기여다.
출처: Artin Yousefi, Aizierjiang Aiersilan, Lorien C Abroms 외, "Same Question, Different Answers: Auditing Persona-Dependent Variation in Six LLMs on Smoking-Cessation Advice", arXiv:2610.42039 (2026년 10월 30일)