AI 튜터, 인간 과외와 학습 효과 동등했다

사교육비 명세서를 보면서 "이걸 AI가 대신 해주면 안 되나" 하는 생각을 해본 사람이 적지 않을 것이다. 그동안 이 질문에 대한 답은 대체로 인상과 체감의 영역에 머물렀다. AI가 문제를 잘 풀어주기는 하는데, 그게 실제로 학생의 실력을 올리는지는 전혀 다른 문제였기 때문이다. 2026년 9월 23일 공개된 StudentBench 연구는 바로 이 지점을 정면으로 겨냥한다.

무엇을 측정했는가

연구진은 AI의 교육 능력을 평가하는 StudentBench라는 도구와 공개 플랫폼을 만들고, 학생과 AI가 주고받은 메시지 17만 5천여 건을 모았다. 핵심은 그 위에서 진행한 대조 실험이다.

GRE 7개 영역 중 5개에서는 가장 성능이 좋았던 AI 튜터가 인간 튜터를 평균적으로 앞섰다. 그리고 한 AI 튜터는 인간 튜터와 동등한 학습 향상을 918배 낮은 비용으로 달성했다.

두 번째 실험: 사람이 채점한 AI의 수업 준비

연구진은 여기서 멈추지 않고, 전문 튜터들에게 AI가 만든 수업 계획과 연습 문제를 짝지어 비교하게 했다. 총 2,028건의 쌍대 평가다. 두 실험을 합치면 AI 튜터들은 다섯 축에서 뚜렷하게 갈렸다. 수업 설계, 연습 문제 출제, 대화형 교수법, 비용, 그리고 학생의 참여도다.

흥미로운 연쇄도 관찰됐다. GRE 수리 영역에서는 AI의 응답이 빠를수록 학생이 메시지를 더 많이 보냈고, 메시지가 많을수록 연습 문제를 더 많이 맞혔고, 정답이 많을수록 학습 향상이 컸다(모두 p < .002). 응답 속도라는 기술적 지표가 교육 성과로 이어지는 경로가 데이터로 드러난 셈이다.

그래서 진짜 의미하는 것

여기서 과장과 사실을 나눠야 한다.

먼저 "동등하다"는 말의 정확한 의미다. 이 연구가 보인 것은 통계적 동등성이다. AI가 인간 튜터를 이겼다는 뜻이 아니고, 차이가 없다고 말할 수 있는 범위 안에 들어왔다는 뜻이다. 7개 영역 중 5개에서 앞섰다는 결과도 "가장 성능이 좋은 AI 튜터"를 골랐을 때의 평균값이다. 아무 AI나 붙여놓으면 된다는 이야기가 아니다.

둘째, 측정 대상이 GRE라는 점이 중요하다. GRE는 정답이 명확하고 문제 유형이 정형화된 표준화 시험이다. 이런 과제에서 AI가 강한 것은 비교적 예상 가능한 일이다. 논술, 실기, 장기 프로젝트 지도처럼 평가 기준이 모호한 영역까지 이 결과를 그대로 확장하는 것은 근거를 넘어선 해석이다.

셋째, 918배라는 비용 격차는 가장 눈에 띄는 숫자지만 동시에 가장 조심해야 할 숫자다. 이는 1퍼센트포인트 향상당 단가를 비교한 값이고, 인간 튜터의 시간 비용을 어떻게 계산하느냐에 따라 달라질 수 있다. 다만 자릿수 자체가 워낙 크기 때문에, 계산 방식을 바꾸더라도 "비용 측면에서는 비교가 되지 않는다"는 결론은 흔들리지 않을 것으로 보인다.

실무적으로 읽으면 이렇다. 표준화 시험 대비처럼 정답이 분명한 학습에서는 AI 튜터를 1차 수단으로 두고 인간 지도를 보조로 배치하는 구성이 비용 대비 합리적일 수 있다. 반대로 교육 사업자 입장에서는 "사람이 직접 가르친다"는 것만으로는 차별점이 되기 어려워지는 국면에 들어섰다는 신호다. 그리고 AI 튜터를 고를 때는 모델의 일반적인 성능 순위보다 응답 속도와 문제 출제 품질을 따로 확인하는 편이 실제 학습 결과에 더 가깝다.

마무리

이 연구는 AI가 교육을 대체한다는 선언이 아니라, 어떤 조건에서 얼마만큼 대체 가능한지를 숫자로 좁힌 작업이다. 플랫폼이 studentbench.org에 공개되어 있어 후속 검증도 가능하다. 사교육 의존도가 높은 한국 상황에서는 결과 자체보다 "어디까지가 측정된 범위인가"를 정확히 읽는 일이 더 중요해 보인다.

출처

Curtis Northcutt, Inaara Hasmani, Kevin Feng 외, "StudentBench: AI and human tutoring yield equivalent GRE learning gains", arXiv:2609.28470, 2026년 9월 23일. https://arxiv.org/abs/2609.28470