컴퓨터 사용 에이전트, 과정으로 채점하니 75.7%
"AI가 이제 컴퓨터를 직접 쓴다"는 말을 자주 듣는다. 마우스를 움직이고, 창을 열고, 문서를 편집하고, 설정을 바꾼다. 데모 영상만 보면 이미 웬만한 사무 업무는 넘길 수 있을 것 같다. 그런데 정작 써 본 사람들의 반응은 온도 차가 크다. "잘 되던데요"와 "중간에 엉뚱한 걸 눌러서 못 쓰겠어요"가 동시에 나온다.
이 간극은 어디서 올까. 2026년 9월 21일 arXiv에 올라온 「OSWorld-Pro」는 그 원인 중 하나가 채점 방식에 있다고 지적한다.
결과만 보면 과정이 안 보인다
기존 벤치마크는 대개 마지막 결과물만 확인한다. 수백 단계를 거친 끝에 파일이 제대로 저장됐는지, 설정이 바뀌었는지를 기계적으로 검사하는 식이다. 채점은 간단하지만, 실패했을 때 왜, 어디서 어긋났는지가 전혀 남지 않는다.
이게 왜 문제인지는 예를 들면 분명해진다. 키보드 입력 단계에서 오타를 내는 에이전트와, 화면 위 버튼을 정확히 클릭하지 못하는 에이전트는 완전히 다른 처방이 필요하다. 그런데 둘 다 "실패"로만 기록되면, 개선할 지점을 찾을 수가 없다.
OSWorld-Pro가 한 일
| 항목 | 내용 |
|---|---|
| 과제 수 | 300개 이상 |
| 하위 목표 수 | 2,800개 이상 |
| 사람 주석 | 6만 7천 건 이상 |
| 채점 방식 | 사람의 판단에 정렬된 LLM 심판이 하위 목표별 달성 여부 평가 |
| Claude Opus 5 성적 | OSWorld-Pro 75.7% (기존 OSWorld 83.4%) |
핵심 아이디어는 단순하다. 하나의 과제를 순차적으로 의존하는 하위 목표들로 쪼개고, 각 단계를 통과했는지를 따로 채점하는 것이다. 300개 이상의 과제가 2,800개 이상의 하위 목표로 분해됐고, 그 기준을 만들기 위해 6만 7천 건 이상의 사람 주석이 들어갔다.
그리고 각 하위 목표의 달성 여부는 사람 판단에 맞추어 정렬된 LLM 심판이 평가한다. 덕분에 "이 모델은 6단계 중 4단계까지는 제대로 갔는데 5단계에서 막혔다" 같은 서술이 가능해진다.
75.7%라는 숫자를 어떻게 읽을까
결과는 냉정했다. 최상위권인 Claude Opus 5조차 OSWorld-Pro에서 75.7%에 그쳤다. 같은 모델이 기존 OSWorld에서는 83.4%를 받았으니, 과정 단위로 들여다보자 점수가 내려간 셈이다.
여기서 흔히 하는 오해를 짚어야 한다. 이 숫자를 "모델 성능이 나빠졌다"로 읽으면 틀린다. 모델은 그대로다. 달라진 건 재는 방식이다. OSWorld-Pro는 중간 단계들까지 일일이 확인하므로, 운 좋게 최종 결과만 맞아떨어진 경우가 걸러진다. 두 점수의 차이는 성능 하락이 아니라 기존 측정이 놓치고 있던 부분의 크기에 가깝다.
또 하나 조심할 것은 이 벤치마크가 무엇을 측정하지 않는지다. 하위 목표를 사람이 미리 정의했다는 것은, 과제를 푸는 '정답 경로'가 어느 정도 전제돼 있다는 뜻이기도 하다. 사람이 상정한 것과 다른 방식으로 똑같은 목적지에 도달하는 에이전트는 과정 점수에서 불리할 수 있다. 논문의 목적이 실패 원인 진단이라는 점을 감안하면 합리적 설계지만, "과정 점수가 높다 = 더 나은 에이전트"로 곧장 옮기는 건 무리다.
실무에는 어떤 의미인가
컴퓨터 사용 에이전트를 업무에 붙이려는 입장에서 이 논문이 주는 실질적인 메시지는 두 가지다.
첫째, 벤더가 제시하는 성공률을 그대로 받아들이지 말 것. 같은 모델이 채점 방식 하나 바뀌었다고 적지 않게 움직인다면, 숫자 자체보다 "무엇을 어떻게 재는가"를 먼저 물어야 한다.
둘째, 실패 유형별로 대응이 달라진다는 점이다. 논문은 하위 목표와 무관한 불필요한 동작, 그리고 클릭 기반 조작 실수를 대표적인 과정 중심 실패 유형으로 꼽았다. 전자는 프롬프트나 계획 수립 방식을 손봐야 할 문제고, 후자는 화면 요소를 지정하는 방식이나 접근성 API 활용 같은 실행 계층의 문제다. 원인을 구분하지 못하면 엉뚱한 곳을 고치게 된다.
마무리
에이전트 기술을 평가할 때 우리는 대개 "됐다/안 됐다"만 본다. 하지만 수백 단계짜리 작업에서 그 이분법은 정보를 너무 많이 버린다. OSWorld-Pro가 기여한 것은 새로운 모델도, 새로운 기술도 아니다. 실패를 읽을 수 있게 만든 잣대다. 그리고 그 잣대로 재 보니, 컴퓨터를 대신 써 주는 AI는 데모에서 보이던 것보다 아직 갈 길이 남아 있었다.
출처: Zhilin Wang, Shaokun Zhang, Yifan Zhang 외, "OSWorld-Pro: Process-based Evaluation for Computer Use Agents", arXiv:2609.24890, 2026년 9월 21일. https://arxiv.org/abs/2609.24890