📄 LLM 절차 추론, GPT-5도 정확도 1%에 그쳤다

시험은 잘 보는데 매뉴얼은 못 따라간다

요즘 언어 모델은 어려운 시험 문제를 곧잘 푼다. 여러 단계를 거쳐 추론하는 이른바 멀티홉 문제에서도 성적이 좋다. 그래서 "이제 사내 규정집이나 업무 매뉴얼을 넘겨주면 알아서 처리하겠지"라는 기대가 자연스럽게 따라온다. 그런데 실제로 수백 페이지짜리 매뉴얼을 쥐여 주면 어떻게 될까. 이 질문을 정면으로 측정한 벤치마크가 나왔고, 결과는 기대를 크게 밑돌았다.

두 개의 진짜 매뉴얼로 시험을 냈다

연구진이 만든 벤치마크의 이름은 TAM(Tasks over Application Manuals)이다. 짧은 추론 몇 단계가 아니라, 규칙이 수만 개 들어 있는 공식 문서를 따라 여러 절을 오가며 상호 의존적인 단계를 밟아야 정답이 나오는 과제를 모았다. 영역은 두 곳이다.

정답 레이블은 사람이 검증했다. 평가에는 검색증강생성(RAG, 문서를 찾아와 답에 반영하는 방식), ReAct 방식 프롬프팅, 에이전트 하네스를 GPT-5에 붙인 구성을 모두 썼다. 그중 가장 잘 나온 값이 위 표의 수치다. 임상 코딩에서 100문제 중 1문제를 정확히 맞혔다는 뜻이다.

왜 이렇게 어려운가

두 과제의 공통점은 "찾아서 요약하기"가 아니라 "규칙을 순서대로 집행하기"라는 데 있다. ICD-10-CM 코딩은 증상 기술을 읽고 색인에서 후보를 찾은 뒤, 해당 장의 제외 규칙과 추가 코드 지시를 확인하고, 자릿수를 채워 최종 코드를 확정하는 절차를 밟는다. 앞 단계에서 절 하나를 잘못 타면 뒤 단계는 전부 어긋난다. 부분 점수가 없는 정확 일치 평가이므로 한 군데만 틀려도 0점이다.

기존 멀티홉 벤치마크는 대개 두세 단계에서 끝난다. 단계가 짧으면 중간에 한 번 흔들려도 답이 맞을 여지가 있지만, 단계가 길어지면 오류가 곱해진다. 매뉴얼 자체가 수만 개 규칙이라 필요한 조항을 검색으로 다 끌어오는 것부터 쉽지 않다.

그래서 진짜 의미하는 것

먼저 과장을 걷어내자. 이 결과가 "LLM은 쓸모없다"는 뜻은 아니다. TAM이 고른 두 영역은 규칙 집행이 곧 업무의 전부인, 사람에게도 전문 훈련이 필요한 일이다. 의료 코딩 전문가와 양형 실무자가 따로 존재하는 데는 이유가 있다. 또 평가 기준이 부분 점수 없는 정확 일치라 실무에서 체감하는 유용성과는 차이가 있다. 초안을 만들어 사람이 검토하는 방식이라면 1%라는 숫자보다는 쓸모가 있을 수 있다.

그럼에도 두 가지는 분명하다. 하나는 현재 공개된 추론 벤치마크 성적을 그대로 긴 절차 업무의 자동화 가능성으로 옮겨 읽으면 안 된다는 것이다. 벤치마크가 짧은 호흡에 치우쳐 있어 능력을 과대평가하고 있을 수 있다. 다른 하나는 규정 기반 업무에 LLM을 넣을 때 사람 검수를 빼는 설계는 아직 이르다는 것이다. 규칙을 얼마나 아느냐가 아니라 규칙을 끝까지 순서대로 지키느냐가 병목이다.

마무리

"모델이 더 똑똑해지면 해결될 문제"인지, "긴 절차를 다루는 방식 자체를 다시 설계해야 하는 문제"인지는 아직 열려 있다. TAM의 데이터와 코드는 공개돼 있으니 비슷한 규정 업무를 자동화하려는 팀이라면 자기 도메인에서 같은 방식으로 재 볼 만하다.

출처: Utkarsh Soni, Syed Shariyar Murtaza, Yifan Nie 외, "Tasks over Application Manuals: Revealing Gaps in Long-Horizon Procedural Reasoning for Language Models", arXiv:2609.13005 (2026-09-11), https://arxiv.org/abs/2609.13005v1