AI 그래픽 디자인, 스킬을 쌓자 실행 성공률 99%

모델을 더 학습시키지 않고 잘하게 만들기

AI를 더 잘하게 만드는 방법이라고 하면 보통 학습을 떠올린다. 데이터를 더 넣고, 가중치를 다시 조정하고, 새 버전을 낸다. 비용이 크고 시간이 걸린다.

그런데 모델은 그대로 두고 옆에 메모장 하나만 붙여서 성능을 올릴 수 있다면 어떨까. arXiv에 오른 Designer-RSI는 그 접근을 전문 그래픽 디자인이라는, 꽤 까다로운 영역에서 시험했다.

디자인 작업이 까다로운 이유는 분명하다. 결과물 하나를 만들기까지 수십 번의 조작이 서로 맞물리고, 무엇보다 "이게 잘된 결과인가"를 기계적으로 판정할 방법이 마땅치 않다. 코드처럼 테스트를 돌려 통과 여부를 볼 수가 없다.

무엇을 했는가

연구진은 가중치를 전혀 갱신하지 않는 프런티어 모델에게 230개가 넘는 도구로 디자인 소프트웨어를 직접 조작하게 했다. 그리고 그 옆에 자연어로 쓰인 '절차 기억(procedural memory)'을 따로 두었다. 작업을 하면서 얻은 요령을 재사용 가능한 절차로 적어 쌓아두는 스킬 창고다.

실제 사용자 의뢰 1,406건과 자동 채점된 작업 기록 1,869건으로 다섯 라운드를 돌린 결과는 이렇다.

마지막 두 줄이 이 연구의 성격을 말해준다. 모델은 손대지 않았고, 사람이 정답을 알려주지도 않았다.

어떻게 작동하는가

기억이 자라는 방식은 두 갈래다.

하나는 확장이다. 반복해서 나타나는데 아직 절차가 없는 하위 작업을 발견하면 새 절차를 만들어 넣는다. 스킬 목록이 76개에서 139개로 늘어난 것이 이쪽이다.

다른 하나는 심화다. 이미 있는 절차를 그대로 두지 않고, 그 절차가 실제로 성공했던 기록과 실패했던 기록에 비추어 고쳐 쓴다. 개수는 그대로여도 내용이 나아진다.

여기서 중요한 장치가 재현 검증 게이트다. 절차를 고쳤을 때 과거에 잘되던 작업까지 망가지는 일이 흔한데, 이 게이트는 실패를 고치면서 기존 성공은 건드리지 않는 변경만 통과시킨다. 개선이 다른 곳을 무너뜨리지 않게 막는 안전장치다.

두 갈래가 모두 필요하다는 점도 따로 확인했다. 학습에 쓰지 않은 의뢰 200건에서 확장만 쓰면 승률 49.4%, 심화만 쓰면 48.6%로 스킬 없는 에이전트와 사실상 비슷했다. 둘을 함께 쓰자 58.5%(p=0.025)로 올라갔다. 한쪽만으로는 거의 효과가 없었다는 뜻이다.

그래서 진짜 의미하는 것

"99.3%"라는 숫자부터 정확히 읽어야 한다.

이것은 실행 성공률이다. 에이전트가 지시받은 조작을 끝까지 수행해 결과물을 내놓았는가를 잰 값이지, 그 결과물이 좋은 디자인인가를 잰 값이 아니다. 디자인 품질에 해당하는 지표는 같은 실험에서 11.99점 올랐다. 의미 있는 개선이지만 "거의 완벽해졌다"와는 다른 이야기다.

보류된 의뢰에서의 승률 58.5%도 마찬가지다. 스킬 없는 에이전트를 상대로 열 번 중 여섯 번 가까이 이겼다는 뜻이며, 압도가 아니라 우위다.

한계도 분명히 있다. 채점을 자동 평가 장치와 LLM 심사가 맡았다. 사람 라벨이 필요 없다는 것은 규모를 키우기에 좋은 성질이지만, 동시에 "기계 채점자가 좋아하는 방향으로 최적화됐을 가능성"을 배제하기 어렵게 만든다. 디자인처럼 사람의 감각이 개입하는 영역에서는 더 그렇다.

그럼에도 실무적으로 눈여겨볼 지점은 남는다. 가중치를 건드리지 않고 외부 문서만 쌓아 성능을 올리는 구조는, 모델 제공자가 아닌 쪽에서도 쓸 수 있다는 뜻이다. 사내 업무 절차를 스킬로 축적하는 방식은 디자인 도구에만 적용되는 이야기가 아니다.

주의할 점은 이 방식이 '노이즈가 있고 검증이 어려운 피드백' 환경을 전제로 설계됐다는 것이다. 정답 판정이 명확한 작업이라면 더 단순한 방법이 나을 수 있다.

마무리

에이전트가 경험을 쌓아 나아진다는 아이디어 자체는 새롭지 않다. 이 논문이 더한 것은, 가중치를 전혀 건드리지 않고 사람 라벨도 없이 그것이 실제 사용자 작업 흐름 위에서 작동한다는 것을 규모 있게 보여준 점이다. 다만 숫자를 인용할 때는 실행 성공률과 품질 점수를 구분해서 쓰는 편이 정확하다.

출처

Hongyang Du, Lan Yan, Christian Flores 외, "Designer-RSI: Evolving Procedural Memory from User Traffic for Agentic Graphic Design", arXiv:2609.22086, 2026년 9월 18일. https://arxiv.org/abs/2609.22086v1