📄 AI 코딩 에이전트, 70회 반복으로 게임 만들다

AI 코딩 도구를 써본 사람이라면 대체로 비슷한 벽에 부딪힌다. 함수 하나, 파일 하나를 고치는 일은 놀랄 만큼 잘한다. 그런데 "이런 서비스를 만들어 줘" 수준의 요구를 던지면, 그럴듯한 뼈대까지는 나오지만 그다음이 이어지지 않는다. 세션이 끝나면 방금 배운 것도 함께 사라지고, 다음 대화는 다시 처음부터 시작이다.

2026년 9월 1일 arXiv에 공개된 Harness-of-Harness(HoH) 논문은 바로 그 지점을 겨냥한다. 문제를 "한 번의 실행을 얼마나 잘하느냐"가 아니라 **"여러 날에 걸친 반복 사이에 개선이 쌓이느냐"**로 다시 정의한 것이다.

하네스 위에 하네스를 얹는다

여기서 하네스(harness)는 LLM을 실제 작업에 물리는 바깥 껍데기를 말한다. 파일을 읽고 쓰고, 명령을 실행하고, 결과를 다시 모델에 넣어주는 실행 환경 전체다. 우리가 쓰는 코딩 에이전트 도구들이 여기에 해당한다.

HoH의 접근은 그 하네스를 새로 만들지 않는다. 기존 코딩 에이전트 하네스를 그대로 쓰되, 그 실행들을 다시 한 겹 감싸는 구조다. 논문 제목이 "하네스의 하네스"인 이유가 이것이다. 바깥 껍데기는 안쪽 에이전트의 실행들을 계획 → 코딩 → 테스트가 도는 반복 루프로 조직하고, 개발이 진행되는 도중에도 이미 만들어진 소프트웨어를 계속 다듬게 만든다.

성과는 두 가지 방식으로 보고됐다.

왜 이 구조가 통하는가

핵심은 버리지 않는 것에 있다. 일반적인 에이전트 실행은 작업이 끝나면 그 과정에서 쌓인 판단과 실패 경험이 함께 사라진다. HoH는 실행을 루프의 한 단계로 취급하기 때문에, 테스트가 실패한 이유가 다음 계획 단계의 입력이 된다. 사람 개발팀이 스프린트를 돌리는 방식과 구조적으로 닮았다.

"70회 반복"이라는 숫자도 이 맥락에서 읽어야 한다. 한 번에 게임을 만들어낸 것이 아니라, 70번 넘게 만들고 테스트하고 고치는 과정을 스스로 굴렸다는 뜻이다.

그래서 진짜 의미하는 것

여기서 과장과 사실을 갈라야 한다.

과장하기 쉬운 해석: "AI가 이제 혼자 게임을 만든다. 개발자는 필요 없다."

실제로 보인 것: 요구사항이 명확하고, 성공 여부를 기계가 판정할 수 있고, 반복 비용을 감당할 수 있는 조건에서, 에이전트가 며칠 규모의 작업을 스스로 이어갈 수 있다는 것.

이 조건들이 중요하다. FPS 게임은 자율 개발 데모로 좋은 소재다. 요구사항을 글로 적기 쉽고, 돌아가는지 아닌지를 판정하기도 비교적 쉽기 때문이다. 반면 실무 소프트웨어의 어려움은 대개 다른 곳에 있다. 요구사항 자체가 흐릿하고, 기존 코드베이스의 암묵적 규칙이 있고, "잘 돌아간다"의 기준이 사람마다 다르다. 논문의 벤치마크 향상률이 인상적이더라도, 그 수치가 곧바로 레거시 시스템 유지보수 성능으로 이어진다고 볼 근거는 없다.

또 하나. 52.25%는 상대 향상이지 절대 성공률이 아니다. 기준선이 낮으면 상대 향상은 쉽게 커진다. 원 논문의 절대 수치를 함께 확인하지 않은 채 이 숫자만 인용하는 것은 위험하다.

비용도 정직하게 볼 부분이다. 70회 반복은 그만큼의 토큰과 실행 시간을 쓴다는 뜻이다. 논문이 제시하는 것은 "싸게 만드는 법"이 아니라 "시간을 들이면 어디까지 가는가"에 가깝다.

실무에는 어떤 의미인가

당장 조직에 도입할 결론보다는, 도구를 고를 때의 관점 하나가 남는다. 코딩 에이전트를 평가할 때 흔히 단발 성능(한 번에 문제를 푸는 비율)을 본다. HoH가 던지는 질문은 다르다. 이 도구는 실패에서 배운 것을 다음 시도로 넘기는가? 세션이 끊길 때 맥락이 통째로 증발한다면, 며칠짜리 작업에서는 성능이 아무리 좋아도 한계가 분명하다.

에이전트에게 긴 작업을 맡길 계획이라면, 모델 성능만큼이나 그 바깥의 루프 설계를 봐야 한다는 것 — 이것이 이 논문에서 가져갈 만한 실질적인 시사점이다.

---

출처

Haoyang Yan, Min-le Su, Hangfan Zhang 외, "Harness-of-Harness: Multi-Day Autonomous Software Development with Continual Improvement", arXiv:2609.01481, 2026년 9월 1일. https://arxiv.org/abs/2609.01481v1