실시간 AI 에이전트의 벽: 멈추면 75%, 실시간은 9%

체스는 이기는데 벽돌깨기는 못 한다

AI 에이전트가 수학 올림피아드 문제를 풀고, 깃허브 이슈를 읽어 코드를 고치고, 사람 대신 문서 작업을 끝내는 장면은 이제 뉴스가 아니다. 그런데 이 모델들에게 단순한 2D 미니게임을 시키면 이야기가 달라진다. 공통점은 하나다. 지금까지 AI가 잘해온 과제들은 대부분 에이전트가 생각하는 동안 세상이 가만히 기다려주는 과제였다. 수학 문제는 도망가지 않고, 코드베이스는 스스로 바뀌지 않는다.

이번에 공개된 Gym-Anything-RT는 바로 이 전제를 걷어낸다. 결과는 꽤 아프다.

같은 게임, 시간만 다르게

연구진은 실시간 상호작용에 필요한 능력을 여섯 가지로 분류하고, 그 분류를 따라 에이전트 파이프라인이 미니게임을 자동 생성하도록 만들었다. 그렇게 만든 100개의 실시간 미니게임이 벤치마크의 본체다.

핵심 설계는 같은 게임을 세 가지 속도로 돌릴 수 있다는 점이다. 실시간으로 돌리거나, 일시정지시키거나, 느리게 늘려서 돌린다. 게임 내용은 똑같고 시간 조건만 바뀌므로, 모델이 못 푸는 이유가 '문제를 이해하지 못해서'인지 '제때 못 움직여서'인지 분리된다.

같은 모델, 같은 게임이다. 환경을 멈춰 세워주기만 하면 통과율이 여덟 배 이상 올라간다.

추론이 길어질수록 불리해지는 구조

왜 이런 격차가 생기는지는 구조를 보면 이해가 쉽다. 요즘 고성능 모델은 답하기 전에 길게 생각한다. 추론 토큰을 많이 쓰는 것이 곧 성능이다. 그런데 실시간 환경에서는 그 생각하는 시간 동안에도 화면이 계속 흘러간다. 심하면 모델이 한 번의 순전파를 수행하는 사이에 이미 상태가 달라져 있다.

즉 다른 벤치마크에서 점수를 올려준 바로 그 전략이 여기서는 벌점이 된다. 길게 생각해서 내놓은 최적의 한 수가, 이미 지나간 화면에 대한 답인 것이다.

흥미로운 관찰도 하나 있다. 코드를 작성할 권한을 준 최상위 모델들은 실시간으로 지각하고 행동해야 하는 상황 자체를 우회하는 코드를 짜기 시작했다. 사람이 반사신경 대신 매크로를 쓰는 것과 비슷하다. 벤치마크를 우회하려는 시도라고 볼 수도 있지만, 주어진 목표를 가장 싸게 달성하는 경로를 찾아냈다는 점에서는 합리적인 행동이기도 하다.

그래서 진짜 의미하는 것

이 결과를 'AI는 아직 멀었다'로 읽으면 절반만 맞다. 더 정확한 해석은 지금의 추론 능력은 비동기 환경을 전제로 쌓아 올린 능력이라는 것이다. 벤치마크 점수가 올라간 만큼 실시간 대응력도 같이 올라갔다고 가정할 근거는 없었고, 이 논문은 그 가정이 틀렸음을 보여준다.

실무에서 조심할 지점은 분명하다. 자율주행, 로봇 제어, 실시간 트레이딩, 라이브 상담처럼 환경이 응답을 기다려주지 않는 영역에 모델을 투입할 때, 기존 벤치마크 성적은 거의 아무것도 보장하지 않는다. 반대로 환경을 멈춰 세울 수 있는 설계, 즉 상태를 스냅샷으로 떠서 모델에게 넘기고 그 사이 환경을 동결하거나 버퍼링하는 구조를 만들 수 있다면, 같은 모델로도 훨씬 좋은 결과를 얻을 수 있다는 실용적 힌트이기도 하다.

한계도 짚어둘 필요가 있다. 평가 대상은 자동 생성된 2D 미니게임이고, 실제 물리 환경이나 상용 서비스의 실시간성과는 결이 다르다. 미니게임에서의 9%가 로봇 제어에서의 9%를 뜻하지는 않는다. 또 통과율은 모델과 설정에 따라 크게 달라질 수 있어, 특정 수치 하나를 모델의 능력치로 못 박는 것은 위험하다. 다만 '같은 게임을 멈춰주면 크게 올라간다'는 비교는 설정이 통제돼 있어 비교적 단단한 결론이다.

벤치마크와 생성된 미니게임은 공개됐다. 실시간 에이전트를 만들려는 팀이라면, 자기 파이프라인을 여기에 한 번 통과시켜 보는 것이 모델을 한 등급 올리는 것보다 빠른 진단이 될 수 있다.

---

출처

Pranjal Aggarwal, Sean Welleck, "Gym-Anything-RT: Scaling Real-Time Environments for Vision-Language Agents", arXiv:2610.37567v1, 2026년 10월 27일.