AI 로봇 조작, 최신 모델도 성공률 44%에 그쳤다
추론을 잘하면 로봇도 잘 다룰까
근래 우리는 "모델이 더 똑똑해지면 로봇도 따라 똑똑해진다"는 이야기를 자주 들었다. 화면 속 이미지를 이해하고 긴 계획을 세우고 도구를 호출하는 능력이 좋아졌으니, 그 능력을 로봇 팔에 연결하면 집에서의 잡일도 맡아줄 것 같다는 기대다. 2026년 10월 21일 arXiv에 공개된 한 평가 보고서는 이 기대를 숫자로 확인해 봤다. 결론을 먼저 말하면, 기대와 현실의 거리는 아직 꽤 멀다.
1,800번의 실험이 내놓은 숫자
연구팀은 로봇 조작 분야에서 널리 쓰이는 LIBERO-10 벤치마크를 통일된 폐루프 환경으로 다시 만들었다. 폐루프란 모델이 행동을 한 번 던지고 마는 것이 아니라, 카메라 영상과 로봇의 관절 상태를 다시 받아 보면서 다음 행동을 고치는 구조를 말한다. 모델은 로봇용 사전 학습이나 미리 익혀 둔 조작 기술 없이, 목표 손끝 자세와 그리퍼 명령을 구조화된 도구 호출로 지정하는 방식으로만 로봇을 움직였다.
대상은 GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna, Claude Opus 5, Claude Opus 5.5, Gemini-4 Argon 등 6개 모델이다. 각 모델을 추론 강도 세 단계로 나눠 18개 구성을 만들고, 모두 1,800개 에피소드를 돌렸다.
| 모델 | 성공률 |
|---|---|
| GPT-6 Astra | 44% |
| Gemini-4 Argon | 43% |
보고서가 공개한 상위 두 수치가 이렇다. 여러 번 시도하면 절반 넘게 실패한다는 뜻이다. 범용 모델을 로봇에 그대로 연결하는 방식의 현재 위상이 여기다.
어디서 붕괴하는가
주목할 부분은 실패가 고르게 퍼지지 않았다는 점이다. 모델들은 물건을 집어서 지정된 자리에 놓는 과제는 비교적 잘 처리했다. 반면 정밀한 공간 배치, 그리고 여러 단계가 얽혀 있는 상호작용에서는 크게 붕괴했다. 그릇을 집는 일과, 그릇을 정해진 자리에 다른 물건을 밀지 않고 넣는 일은 전혀 다른 난이도라는 뜻이다.
추론 강도를 올리면 성능은 대체로 올라갔다. 다만 올라가는 폭이 모델마다 달랐고, 추론을 더 하게 할수록 비용과 시간도 함께 늘었다. "생각을 더 시키면 된다"는 해법이 로봇에서는 자동으로 작동하지 않는다는 신호다.
그래서 진짜 의미하는 것
이 보고서를 "프런티어 모델은 로봇에 쓸 데가 없다"로 읽으면 과하다. 역으로 "로봇 전용 학습을 한 번도 받지 않은 범용 모델이, 영상과 도구 호출만으로 여러 단계로 이뤄진 과제의 44%를 해냈다"는 쪽이 더 정확한 요약이다. 얼마 전이라면 0%에 가까웠을 숫자다.
동시에 이 44%는 자동화 현장에서 쓰기에는 턱없이 부족하다. 로봇은 소프트웨어와 달리 실패가 공짜가 아니다. 상품이 깨지고 작업물이 망가지고 사람이 다칠 수 있다. 성공률 44%는 제품 지표가 아니라 연구 지표다. 이 둘을 섞어 읽는 순간 과장이 시작된다.
실무에서 더 중요한 교훈은 평가 방식에 있다. 저자들은 모델이 아니라 평가 틀을 공개했다. 추론 강도를 하나의 축으로 두고 같은 환경에서 여러 모델을 돌려 비교했기 때문에, 공급사 발표 자료에 흔히 등장하는 서로 다른 조건의 숫자들보다 비교하기 좋다. 로봇이나 물리 자동화를 검토하는 쪽이라면 "어떤 모델이 좋은가"보다 "우리 과제가 집어 놓기 쪽인가, 정밀 배치 쪽인가"를 먼저 구분해 볼 가치가 있다.
한계도 분명하다. LIBERO-10은 시뮬레이션 환경이고, 정해진 과제들로 구성된다. 실제 공장이나 가정의 변수는 훨씬 많다. 또 보고서는 상위 두 모델의 수치만 명시해, 나머지 네 모델의 성적은 공개 자료에서 직접 확인해야 한다.
마무리
언어 추론과 물리 행동 사이에는 아직 비어 있는 간극이 남아 있다. 이 보고서의 가치는 그 간극의 크기를 44%라는 한 숫자로 재어 둔 데 있다. 다음 세대 모델이 이 숫자를 얼마나 밀어 올리는지가, 로봇 분야에서 범용 모델의 자리를 가늠하는 기준이 될 것이다.
출처: May Espinola, Qifan Zhang, Yu Xiang, "From Reasoning to Action: Benchmarking Frontier AI Models on LIBERO-10 Robot Manipulation Tasks", arXiv:2610.30051 (2026-10-21)