로봇 AI 자기개선, 정말 배우는가 더 많이 시도하는가
"에이전트가 스스로 로봇을 개선한다"는 말
요즘 자주 보이는 서사가 있다. 프런티어 언어모델 에이전트가 로봇 제어 코드를 직접 쓰고, 돌려 보고, 실패하면 고치고, 성공한 것은 스킬과 기억으로 남긴다. 그래서 쓸수록 좋아진다. 재귀적 자기개선(recursive self-improvement)이라는 말이 붙는다.
그럴듯하다. 그런데 여기엔 검증하기 까다로운 구멍이 하나 있다. 에이전트가 같은 과제를 50번 시도해서 성공했다면, 그것은 학습일까 아니면 그냥 시도를 많이 한 것일까. 둘은 겉으로 구분되지 않는다.
arXiv에 공개된 SEAR(Self-Evolving Agentic Robotics)는 이 질문을 벤치마크로 만들었다.
두 개의 질문, 그리고 대조군
SEAR는 두 가지를 묻는다.
- 에이전트는 정말 학습하고 있는가, 아니면 단지 더 많이 시도하는 것인가
- 배운 것은 새 과제, 새 시뮬레이터, 실제 로봇에서도 통하는가 핵심은 프레임워크가 아니라 대조군 설계다. 연구진은 성과를 부풀릴 수 있는 요인들을 하나씩 떼어 통제했다. 반복 시도 횟수, 이미 익숙한 과제, 시뮬레이터 내부 상태 같은 특권 정보, 더 큰 시간·시도 예산, 그리고 운이다.
에이전트는 세 가지 모드로 돌려졌다.
| 모드 | 에이전트가 하는 일 |
|---|---|
| code-as-policy | 정책이 될 제어 코드를 직접 작성 |
| agent-as-policy | 제어 루프 안에서 실시간으로 직접 행동 |
| auto-research | 연구자 역할로 VLA(비전-언어-행동) 모델을 미세조정 |
규모는 작지 않다. 프런티어 모델 7종, 시뮬레이션 과제 330개와 실물 과제 5개, 누적 4년이 넘는 에이전트 실행 시간이다.
무엇이 나왔는가
첫째, 자기개선의 학습 곡선은 시간 예산과 난이도에 함께 달려 있다. 모델 역량에 비해 어려운 과제에서는 긴 세션이 값어치를 했지만, 쉬운 과제에서는 짧은 시도를 여러 번 다시 굴리는 것이 비슷하게 좋았다. 즉 쉬운 과제에서 보이는 "개선"의 상당 부분은 학습이 아니라 재시도 효과일 수 있다.
둘째, 전이되는 것과 되지 않는 것이 갈렸다. 제어 코드와 여러 과제가 공유하는 루틴은 과제와 시뮬레이터를 넘어 전이됐다. 반면 과제에 특화된 해법은 전이되지 않았다. 실제 로봇에서는 에이전트가 스스로 설계한 연습 장면과 사람이 새로 만든 장면 사이에 성능 격차가 관찰됐다.
셋째, 모델마다 잘하는 진화 방식이 달랐다. 어떤 모델은 실시간으로 행동할 때, 어떤 모델은 코드를 먼저 쓸 때 더 잘 발전했다. 그리고 눈에 띄는 결과 하나. 텍스트 전용 모델이 동급 멀티모달 모델과 대등했다. 저자들의 해석은 이렇다. 지각 능력은 오류를 판단하는 데 도움이 되지만, 에이전트적 추론과 도구 사용이 더 중요할 수 있다.
그래서 진짜 의미하는 것
이 논문의 가치는 새 기법을 제안한 데 있지 않다. 업계가 쉽게 과장하는 지점에 측정 장치를 대 봤다는 데 있다.
"자기개선 에이전트"라는 표현은 보통 두 가지를 섞어 쓴다. 하나는 경험이 쌓여 다음이 더 나아지는 것, 다른 하나는 예산을 더 쓰면 결과가 나아지는 것이다. 후자는 자기개선이라기보다 탐색이다. SEAR의 대조군은 이 둘을 분리하고, 적어도 쉬운 과제에서는 후자가 상당한 설명력을 가진다고 말한다.
동시에 반대 방향으로 과장해서도 안 된다. 이 연구는 자기개선이 허상이라고 말하지 않는다. 어려운 과제에서는 긴 세션이 실제로 도움이 됐고, 공용 루틴이라는 형태로 재사용 가능한 자산이 남는다는 것도 확인됐다. 다만 남는 것은 "과제별 정답"이 아니라 "일반적인 도구와 절차"였다.
실무로 옮기면 이렇다. 에이전트 기반 자동화의 성과를 볼 때, 같은 예산을 단순 재시도에 썼을 때의 성적을 함께 봐야 한다. 그 기준선이 없으면 개선 폭을 해석할 수 없다. 그리고 재사용을 노린다면 과제 특화 산출물보다 공통 루틴과 도구 쪽에 투자하는 편이 전이 가능성이 높다.
한계는 분명하다. 실물 과제는 5개뿐이고 시뮬레이션 비중이 압도적이다. 시뮬레이터에서 통한 전이가 물리 세계에서 얼마나 유지되는지는 이 규모로 단언하기 어렵다. 저자들이 관찰한 실제 로봇에서의 격차 자체가 그 어려움을 보여준다.
마무리
좋은 벤치마크는 성능을 올리는 방법을 알려주지 않는다. 지금 보고 있는 숫자가 무엇을 뜻하는지를 알려준다. SEAR는 후자 쪽이고, 자기개선 에이전트 이야기가 늘어나는 지금 필요한 종류의 작업이다.
출처
Xinyi Wang, Bangzheng Li, Hanyu Wang 외, "SEAR: Self-Evolving Agentic Robotics", arXiv:2610.18792 (2026년 10월 13일). https://arxiv.org/abs/2610.18792v1