📚 AI 에이전트 스킬, 위키에 경험을 쌓으면 달라진다
AI 에이전트를 한 번 써본 사람이라면 익숙한 답답함이 있다. 어제 겨우 알려준 요령을, 오늘 새 대화창에서는 처음 듣는 것처럼 다시 물어본다. 에이전트가 매번 백지에서 시작한다는 것, 이것이 지금 에이전트 활용의 가장 큰 실무 병목이다.
이 문제를 푸는 접근이 에이전트 스킬(agent skill) 이다. 특정 작업에 필요한 지식과 절차를 재사용 가능한 덩어리로 묶어두는 방식으로, 최근 상용 도구들에도 비슷한 개념이 들어오면서 실무 관심이 빠르게 늘었다. 한 걸음 더 나간 연구들은 에이전트가 자기 경험에서 스킬을 자동으로 발견하게 만든다.
8월 27일 arXiv에 공개된 WikiSkill은 그 자동 발견 방식의 약점을 지적하며 출발한다.
문제: 배운 것이 흩어진다
기존 스킬 자동 발견 기법에서, 스킬을 다듬어가는 과정에서 얻은 통찰은 대체로 최적화 이력 여기저기에 흩어진 채로 남는다. 3회차 반복에서 알아낸 교훈이 7회차에 체계적으로 재사용된다는 보장이 없다는 뜻이다. 에이전트는 계속 뭔가를 배우지만, 배운 것이 쌓이지는 않는 구조다.
WikiSkill이 한 것
연구진의 해법은 구조를 셋으로 쪼개는 것이다.
| 계층 | 역할 |
|---|---|
| 원시 실행 경험 | 에이전트가 실제로 시도하고 실패·성공한 기록 |
| 누적 지식 (위키) | 경험에서 뽑아내 지속적으로 통합해 둔 지식 기반 |
| 실행 가능한 스킬 | 위키 위에서 만들어지는, 실제로 쓰이는 스킬 |
핵심은 가운데 층이다. 경험을 계속 위키로 통합해 두고, 이후의 스킬 갱신이 그 위키 위에 쌓이게 한다. 스킬과 지식 기반이 함께 진화하는 셈이다. 사람으로 치면, 매번 새로 배우는 대신 사내 위키를 쌓아두고 그 문서를 갱신해 나가는 방식에 가깝다.
결과에서 눈에 띄는 것
여러 벤치마크와 여러 모델에 걸쳐, WikiSkill은 기존 최고 수준의 스킬 진화 기법들을 일관되게 앞섰고 스킬을 쓰지 않는 기준선보다도 대부분의 조합에서 나았다. 여기까지는 예상 범위다. 흥미로운 것은 그다음 세 가지다.
스킬은 모델 규모를 보완한다. 큰 모델일수록 진화된 스킬에서 얻는 이득이 대체로 컸다. 그런데 동시에, 스킬을 갖춘 작은 모델이 스킬 없는 훨씬 큰 모델을 능가하는 경우가 나타났다. 스킬이 규모를 대신할 수는 없지만, 규모 차이를 일부 메울 수는 있다는 이야기다.
스킬은 모델을 넘어 옮겨간다. 한 모델이 진화시킨 스킬이 다른 모델, 심지어 다른 모델 계열에서도 효과적으로 작동했다. 더 나아가 다른 모델이 만든 스킬이 자기가 만든 스킬보다 나은 경우도 있었다.
위키가 없으면 무너진다. 절제 실험(ablation)에서 위키에 지식을 지속적으로 누적하는 부분이 효과의 핵심임이 확인됐다. 즉 성능의 출처는 스킬 그 자체보다 그 스킬을 떠받치는 누적 구조 쪽이다.
그래서 진짜 의미하는 것
「작은 모델도 스킬만 있으면 큰 모델을 이긴다」는 문장은 이 논문에서 뽑아내기 쉽고, 동시에 가장 오해되기 쉬운 부분이다.
과장하지 않고 말하면 이렇다. 논문이 보고한 것은 일부 설정에서 스킬을 갖춘 작은 모델이 스킬 없는 더 큰 모델을 넘어섰다는 것이다. 조건을 맞춰 비교하면 큰 모델이 스킬에서 얻는 이득이 더 컸다는 서술이 나란히 붙어 있다. 규모 경쟁이 끝났다는 이야기가 아니라, 같은 모델을 두고 스킬 유무가 만드는 차이가 생각보다 크다는 이야기로 읽는 편이 정확하다.
읽을 때 함께 감안할 점도 있다.
- 이득의 크기는 벤치마크와 모델 조합에 따라 달랐다. 「대부분의 설정에서」라는 단서가 붙어 있다는 것은 모든 설정에서는 아니었다는 뜻이다.
- 스킬 진화 자체가 반복적인 실행과 평가를 요구한다. 위키를 키우는 데 드는 비용은 공짜가 아니다.
- 벤치마크 환경의 이득이 실제 업무 환경에서 그대로 재현되는지는 별도의 문제다.
실무에는 어떤 의미인가
에이전트를 도입하려는 팀 입장에서 건질 만한 시사점은 두 가지다.
첫째, 투자처가 모델에서 축적 구조로 옮겨간다. 더 좋은 모델로 갈아타는 것 못지않게, 우리 팀의 실행 경험을 어떻게 남기고 정리해 둘 것인가가 성능을 좌우한다. 프롬프트 한 줄을 고치는 일보다 지식 기반을 설계하는 일에 가깝다.
둘째, 스킬은 자산으로 관리할 만하다. 모델과 모델 계열을 넘어 전이된다는 결과는, 한 번 잘 만들어 둔 스킬이 모델 교체에도 살아남을 수 있다는 뜻이다. 모델은 몇 달마다 바뀌지만 스킬 자산은 남는다.
마무리
WikiSkill의 메시지를 한 줄로 줄이면 이렇다. 에이전트를 똑똑하게 만드는 것은 더 큰 모델이기도 하지만, 잊지 않게 만드는 구조이기도 하다. 경험을 흘려보내지 않고 문서로 눌러 담는 이 방식이 사람의 조직 학습과 닮아 있다는 점이, 어쩌면 이 논문에서 가장 오래 남을 대목일지도 모른다.
출처: Liyan Tang, Cyrus Rashtchian, Chun-Sung Ferng, Andrew Tomkins, Da-Cheng Juan, Tu Vu, WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution, arXiv:2608.27454 (2026-08-27)