컴퓨터 사용 에이전트, 도구를 스스로 만들자 3.8배 올랐다

같은 모델인데 성능이 3.8배 달라졌다

AI에게 컴퓨터 작업을 맡겨 본 사람이라면 별로 재밌지 않은 장면을 봤을 것이다. 표 한 구역을 채우려고 셀을 하나하나 클릭하고, 함수 하나를 찾으려고 2,000줄이 넘는 파일을 터미널에 전부 찍어 보는 식이다. 사람이라면 수식 한 줄, 검색 명령 한 번으로 끝낼 일이다.

이것을 보고 "역시 모델이 아직 부족하다"고 결론 내리기 쉬운데, 2026년 10월 20일 arXiv에 올라온 「Evolving Agent Interfaces」는 다른 곳을 가리킨다. 모델이 아니라 모델에게 주어진 인터페이스가 발목을 잡는다는 주장이다. 에이전트가 쓰는 도구와 "어떤 상황에서 어떤 도구를 쓰라"는 사용지식은 지금까지 전부 사람이 짜왔고, 새로운 소프트웨어와 새 업무 방식이 나올 때마다 다시 짜줄 수는 없다.

연구진의 제안은 간단하다. 인터페이스 설계를 사람의 업무가 아니라 에이전트의 능력으로 돌리자는 것이다.

숫자만 따로 보면

연구진은 Agent S4라는 시스템을 만들어 컴퓨터 사용 벤치마크 OSWorld V2에서 시험했다.

다른 벤치마크인 ScienceBoard에서는 같은 모델의 성공률이 41.4%에서 58.6%로 올랐다. 모델은 그대로 두고 인터페이스만 바꾼 결과다.

어떤 방식으로 돌아가는가

구조는 두 축으로 나눠 볼 수 있다.

첫째, 메타 에이전트가 다른 에이전트들의 작업 기록을 들여다보면서 인터페이스와 사용지식을 저장소에 쌓아 가고 고친다. 주목할 대목은 이 과정에 성공·실패 라벨이 없다는 점이다. 정답이 달린 데이터셋을 써야 한다는 제약이 없으니, 새 환경에 바로 투입할 여지가 생긴다.

둘째, 집단 진화다. 여러 인터페이스 모음을 동시에 키우면서, 메타 에이전트가 한 번도 보지 못한 검증 과제 성적을 기준으로 살릴 것을 고른다. 학습 과제에만 맞춰진 인터페이스는 검증 단계에서 자연히 걸러지는 구조다.

그래서 진짜 의미하는 것

이 연구를 "오픈소스 27B가 상용 최상위 모델을 이겼다"는 문장으로 정리하면 중요한 절반을 놓친다. 세 가지만 집어 보자.

첫째, 21.3%는 상당하다는 소리가 아니다. 여전히 열 번 중 여덟 번은 실패한다. 컴퓨터 사용 에이전트에 사람 업무를 맡길 수준으로 보는 것은 이르다. 이 수치는 "얼마나 써도 되는가"가 아니라 "어떤 설계가 더 잘 듣는가"를 말하는 비교값으로 읽는 것이 맞다.

둘째, 비용 비교에는 주의가 필요하다. "비용의 1.5~4.3%"는 자신이 돌리는 오픈웨이트 모델과 API로 값을 지불하는 상용 모델을 맞대는 수치다. GPU를 들여 직접 돌릴 사람에게는 살아 있는 수치지만, 토큰당 과금만 보는 사람에게는 그대로 전달되지 않는다.

셋째, 이 두 가지를 걸러내면 진짜 교훈은 이렇다. 모델을 더 큰 것으로 갈아끼우지 않고, 모델을 내부에서 다시 학습시키지도 않은 상황에서, 도구와 사용 설명서를 재정리하는 일만으로 성적이 여러 배 바뀐다. 사내에서 에이전트를 돌리는 팀이라면, 모델 교체를 고민하기 전에 지금 에이전트에게 무엇을 쓰라고 내어줬는지를 먼저 뒤지는 편이 싸게 먹힐 가능성이 높다.

한계도 분명하다. 인터페이스는 합성된 학습 과제 위에서 진화하고, 그 과제가 업무 현장의 질감과 얼마나 닮았는지는 다른 문제다. 방법 자체가 특정 벤치마크에 맞춰 과적합될 여지도 남아 있다.

마무리

지난 몇 해 AI 성능 경쟁은 거의 모델 이야기였다. 이 논문은 그 밖에 건드릴 수 있는 지점이 남아 있다고 말한다. 모델이 아니라 모델에게 주는 도구 말이다. 코드는 github.com/simular-ai/agent-s에 공개되어 있다.

---

원문: Saaket Agashe, Yuzhe Yang, Gonzalo Gonzalez-Pumariega 외 5명, 「Evolving Agent Interfaces」, arXiv:2610.28601, 2026년 10월 20일 공개. 원문 링크: https://arxiv.org/abs/2610.28601v1