LLM 에이전트 설계, 단순한 쪽이 정교한 쪽을 이겼다

에이전트를 정교하게 짜면 더 잘할까

LLM 에이전트를 만드는 현장에는 일종의 상식이 있다. 모델에게 그냥 맡기면 헤매니, 절차를 쪼개고 역할을 나누고 단계를 고정해 주면 성능이 올라간다는 것이다. 표준 운영 절차(SOP)를 코드로 옮기고, 가설 수립 담당과 검증 담당을 분리하고, 각 단계에서 어떤 도구를 호출할지 미리 정해 둔다. 멀티에이전트 프레임워크가 쏟아진 배경이기도 하다.

2026년 10월 26일 arXiv에 공개된 이 논문은 그 상식을 같은 조건에서 검증했다. 결과는 반대 방향이었다.

무엇을 비교했는가

대상 과제는 마이크로서비스 장애의 원인 분석(RCA, root cause analysis)이다. 서비스가 죽었을 때 수많은 로그와 지표 가운데서 실제 원인이 된 구성요소를 찾아내는 일로, LLM 에이전트가 가장 활발히 적용된 영역 중 하나다.

연구진은 세 종류를 한 테이블에 올렸다. 첫째, 모델의 호출을 전혀 지시하지 않는 단순한 하네스 3종이다. 증거 묶음을 한 번에 넘기고 한 번 호출하는 방식, SQL 에이전트, 그리고 범용 코딩 에이전트인 Codex다. 둘째, 논문으로 발표된 전용 LLM RCA 에이전트 5종이다. 셋째, LLM을 쓰지 않는 통계·인과 추론 기법들이다.

평가 기반은 RCAtlas로, 8개 공개 데이터셋에서 검증한 90개 사례를 모은 것이다. 6개 모델과 3단계 추론 강도에 걸쳐 측정했다. 기존 연구들이 각자 자기 데이터에서 소수의 베이스라인과만 비교해 온 관행을 깨려는 설계다.

두 계열을 모두 돌린 모든 모델에서 단순 하네스가 앞섰다. 일부 모델에서만 나타난 우연이 아니라는 뜻이다.

왜 정교한 설계가 뒤처졌는가

논문이 제시하는 설명은 구체적이다. 발표된 에이전트들은 모델 호출의 10분의 1에서 전부를 프로그램 안에 고정해 둔다. 어떤 순서로 무엇을 보고 무엇을 물을지가 코드에 박혀 있는 것이다. 저자들의 사례 분석은 바로 그 고정된 절차가 결정적 증거를 건너뛰게 만든 장면을 보여준다. 사람이 설계한 조사 경로에 그 증거를 보는 단계가 없었기 때문에, 모델은 그것을 볼 기회 자체를 갖지 못했다.

구성요소별 기여도 분석도 흥미롭다. 더 강한 모델을 쓰면 주로 신뢰성이 올라갔다. 같은 문제를 안정적으로 맞히게 된다는 뜻이다. 반면 여러 턴을 주고받을 수 있는 하네스는 주로 능력을 올렸다. 이전에는 풀 수 없던 문제를 풀게 된다는 뜻이다. 두 축이 서로 다른 일을 한다.

추론 강도에 대한 결과는 비용 측면에서 특히 눈여겨볼 만하다. 추론 강도를 올려도 정확도는 몇 퍼센트포인트 바뀌는 데 그쳤는데, 소요 시간은 최대 7배로 늘었다.

그래서 진짜 의미하는 것

과하게 읽지 말아야 할 부분이 있다. 이 논문은 에이전트 설계가 필요 없다고 말하지 않는다. 비교 대상이 된 단순한 하네스도 설계물이다. 증거를 어떻게 묶어 넘길지, 어떤 도구를 쓸 수 있게 할지는 여전히 사람이 정한다. 차이는 모델의 추론 경로를 고정하지 않았다는 데 있다. 또 측정 영역은 마이크로서비스 RCA 한 분야이고 사례도 90개다. 규제 준수처럼 절차 자체가 요구사항인 과제에는 그대로 옮기기 어렵다.

그런데도 설계 판단을 바꿀 만한 이유가 있다. 결과가 뒤집힌 방향이 중요하다. 정교한 설계는 성능을 조금 덜 올린 게 아니라, 비LLM 기법 수준에 가까운 구간까지 떨어뜨렸다. 절차를 고정하는 것이 중립적 선택이 아니라 성능을 깎는 선택일 수 있다는 뜻이다. 지난해에 만든 하네스가 지금 모델의 능력을 가로막고 있을 가능성을 점검해 볼 이유가 된다. 모델이 좋아질수록 사람이 짜 둔 절차의 상대적 가치는 떨어지기 때문이다.

실무에서 적용해 볼 순서는 이렇다. 새 과제를 받으면 정교한 파이프라인을 짜기 전에, 모델에게 증거와 도구만 주고 한번 맡겨 보는 베이스라인을 먼저 측정하는 편이 합리적이다. 이 논문의 결과는 그 베이스라인이 생각보다 높다는 것이다. 그다음에 고정할 단계를 추가할 때는, 그 단계가 모델이 볼 수 있었던 증거를 차단하지 않는지 확인한다. 추론 강도를 기본값보다 높여 두는 설정은 시간과 비용 대비 효과를 따로 측정해 볼 만하다.

마무리

에이전트 설계의 무게중심이 모델을 어떻게 통제할까에서 모델이 무엇을 볼 수 있게 할까로 옮겨가고 있다. 이 논문은 그 전환을 90개 사례의 숫자로 보여준다. 통제를 늘릴 때마다 무엇을 잃고 있는지 함께 재는 일이 남았다.

출처

Tingzhu Bi, Xun Zhang, Jinglin Li 외 2명, "Free to Look, Free to Reason: Simple LLM Harnesses Outdiagnose Hand-Crafted Root Cause Analysis Agents", arXiv:2610.35767v1, 2026년 10월 26일. https://arxiv.org/abs/2610.35767v1