📄 LLM 사용자 피드백, AI 심사위원은 못 보는 신호

챗봇을 쓰다 보면 하루에도 몇 번씩 이런 말을 하게 된다. "그 말이 아니라 이런 뜻이었어." "표는 빼고 다시." "너무 딱딱해." 이건 별점도 아니고 좋아요 버튼도 아니다. 그냥 대화 중에 흘러나온 불평이다. 이런 자연스러운 피드백이 모델을 실제로 더 낫게 만드는 데 쓸모가 있을까? 9월 2일 arXiv에 올라온 논문은 "쓸모가 크다"고 답하면서, 동시에 우리가 그 쓸모를 지금까지 못 알아본 이유를 짚는다.

문제의 배경

대화 로그는 AI 회사가 가진 가장 풍부한 자산이다. 사람이 돈 받고 만드는 선호 데이터와 달리 공짜로, 실제 사용 맥락에서, 끝없이 쌓인다. 그런데 업계에서 자연 발생 피드백은 그동안 "노이즈가 많고 신호가 약한 데이터"로 취급되어 왔다. 사람들이 대충 말하고, 모순되게 말하고, 화만 내고 정확히 뭘 원하는지는 말하지 않는다는 이유였다.

무엇을 확인했나

연구진은 합성 데이터와 실제 대화 데이터를 함께 써서 비교 실험을 했다. 구조는 단순하다. 모델이 답을 하나 내고, 사용자가 불만을 말한다. 그다음 두 가지 수정본을 만든다. 하나는 그 피드백을 반영한 수정본, 다른 하나는 피드백 없이 그냥 다시 쓴 수정본이다.

결과는 명확했다. 피드백을 반영한 쪽이 원래 지적되었던 문제를 훨씬 높은 비율로 해결했다. 즉 사용자가 남긴 말에는 다시 쓰기만으로는 얻을 수 없는 고유한 정보가 담겨 있었다. 당연해 보이지만, 이것은 논문의 절반일 뿐이다.

진짜 발견은 평가 쪽에 있었다

나머지 절반이 더 중요하다. 연구진은 이렇게 개선된 결과물을 지금 업계 표준인 방식으로 평가해보았다. LLM을 심사위원으로 세워 두 답변 중 어느 쪽이 나은지 고르게 하는, 이른바 'LLM-as-a-judge' 방식이다.

심사위원 모델은 피드백 덕분에 좋아진 부분을 알아보지 못했다. 그 정도가 아니라, 오히려 더 못한 기준선 출력을 체계적으로 선호했다. 사용자가 콕 집어 지적한 문제를 해결한 답변이 심사에서 지는 일이 반복되었다는 뜻이다.

그래서 진짜 의미하는 것

여기서 인과관계를 뒤집어 볼 필요가 있다. "사용자 피드백은 학습 신호로 별로다"라는 업계의 통념은 데이터를 관찰해서 나온 결론이 아니라, 그 데이터의 가치를 못 재는 자로 측정한 결과였을 가능성이 크다. 온도계가 고장 났는데 방이 안 따뜻하다고 결론 내린 셈이다.

이건 사용자 피드백만의 문제가 아니다. LLM 심사는 지금 모델 평가, 데이터 선별, 강화학습 보상 모델까지 파이프라인 곳곳에 들어가 있다. 심사위원 모델이 특정 종류의 개선에 구조적으로 눈이 멀어 있다면, 그 편향은 평가 결과 하나로 끝나지 않고 학습 데이터 선별과 보상 설계를 거쳐 모델 자체에 각인된다. 심사위원이 못 알아보는 개선은 학습되지 않고, 학습되지 않으면 다음 세대 모델에서도 나타나지 않는다.

다만 과장은 경계해야 한다. 이 논문은 LLM 심사가 전면적으로 쓸모없다고 말하지 않는다. 특정 유형의 개선, 즉 사용자의 구체적 지적을 반영한 수정에서 심사가 실패한다는 것을 보인 것이다. 또 초록 단계에서는 정량 수치가 제시되지 않아, 실패의 규모가 얼마나 큰지는 본문을 확인해야 한다.

실무에서 무엇을 바꿔야 하나

당장 적용할 수 있는 함의는 두 가지다. 첫째, 사내에서 LLM 심사로 모델을 비교하고 있다면 사용자 지적 사항 반영 여부를 별도 항목으로 떼어내어 측정하는 편이 안전하다. 종합 점수 하나로는 이 차원이 묻힌다. 둘째, 대화 로그에 남은 사용자의 불만은 버리는 노이즈가 아니라 이미 확보한 학습 자산에 가깝다. 문제는 그것을 골라낼 평가 장치가 아직 부실하다는 것이다.

출처: Shachar Don-Yehiya, Leshem Choshen, Omri Abend, "User Feedback Provides a Unique Signal that LLMs Can not Detect", arXiv:2609.02859, 2026년 9월 2일.