📄 AI 벤치마크 오류, 물리 점수는 왜 낮게 나왔나

점수가 낮으면 정말 모델이 못 푸는 걸까

"최신 AI도 대학원 수준 물리는 아직 못 푼다." 여러 평가 지표에서 프런티어 모델의 물리 점수가 낮게 나오면서 굳어진 인상이다. 그런데 정작 물리를 전공한 연구자들이 같은 모델을 연구에 쓰면서 받은 체감은 달랐다. 이 간극을 그냥 넘기지 않고 파고든 연구가 나왔다. 결론부터 말하면, 문제는 모델이 아니라 상당 부분 시험지 쪽에 있었다.

전문가가 답안을 처음부터 다시 채점했다

연구진은 널리 쓰이는 물리 벤치마크 6종에서 프런티어 모델의 응답을 모아 해당 세부 분야의 교수와 대학원 연구자에게 넘겼다. 대상은 텍스트만으로 풀 수 있고 최종 답을 검증할 수 있는 문제로 한정했다. 전문가들은 문제 설명, 참조 정답 풀이, 모델 응답을 하나씩 대조하면서 오답으로 처리된 사례가 진짜 모델의 물리 오류인지, 아니면 다른 이유인지를 갈라냈다.

결과는 예상 밖이었다. 감사 대상이 된 오답 대부분이 모델의 추론 실패가 아니라 채점기 오류, 잘못된 참조 풀이, 모호하거나 조건이 덜 명시된 문제 탓이었다. 연구진이 잘못된 참조 풀이를 고치고 결함 문항을 수리하거나 제외한 뒤 다시 잰 점수는 이렇게 달라졌다.

UGPhysics, PRISM-Physics, PHYBench의 감사 대상 부분에서도 보정 후 점수가 눈에 띄게 올랐다. 표의 수치는 GPT-5.6-Sol 기준이다.

왜 이런 일이 벌어지나

자동 채점은 보통 모델이 낸 최종 답이 정답 문자열과 맞는지를 본다. 그런데 물리 문제의 답은 표기 방식이 여럿이다. 단위를 쓰는 방식, 기호를 정리하는 순서, 근삿값을 어디서 끊느냐에 따라 수학적으로 같은 답도 다른 문자열이 된다. 여기에 데이터셋을 만들 때 들어간 참조 풀이 자체의 오류, 조건이 덜 적혀 여러 해석이 가능한 문제까지 겹치면 점수는 실제 실력보다 낮게 찍힌다. 사람이 채점하면 "이건 같은 답"이라고 넘어갈 일이 자동 채점에서는 모두 오답이 된다.

그래서 진짜 의미하는 것

이 연구를 "AI가 물리를 정복했다"로 읽으면 과장이다. 연구진이 스스로 붙인 단서가 여럿이다.

첫째, 보정 후 점수는 전문가 검토를 거쳐 남긴 부분집합에서 계산한 값이다. 결함 문항을 빼고 다시 잰 점수이므로 원래 벤치마크 전체와 같은 잣대가 아니다. 둘째, 대상이 텍스트로만 풀 수 있고 최종 답을 검증할 수 있는 닫힌 문제다. 실험 설계, 모형 세우기, 열린 물리 연구처럼 정답이 하나로 떨어지지 않는 일은 측정하지 않았다. 셋째, 수치의 중심은 특정 모델 한 종이다.

그래도 남는 함의는 분명하다. 하나는 벤치마크 점수를 인용할 때 "이 점수가 모델 실력인가, 채점 방식인가"를 한 번 의심해야 한다는 것이다. 특히 순위표 몇 퍼센트포인트 차이로 모델을 고르는 실무 판단은 위험하다. 다른 하나는 닫힌 형태의 물리 문제는 이미 포화에 가까워졌다는 신호다. 앞으로 의미 있는 평가는 정답이 하나로 떨어지지 않는 문제, 전문가가 직접 검증한 문제 쪽으로 옮겨가야 한다.

마무리

이번 연구가 던지는 메시지는 "AI가 생각보다 똑똑하다"보다 "우리가 AI를 재는 자가 생각보다 엉성했다"에 가깝다. 모델 성능을 논할 때 점수만큼이나 그 점수가 어떻게 매겨졌는지를 함께 보는 습관이 필요해졌다.

출처: Ali Ansari, Haoran Sun, Andy Zeyi Liu 외, "How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks", arXiv:2609.13009 (2026-09-11), https://arxiv.org/abs/2609.13009v1