📄 AI 에이전트 비용 53% 줄인 데이터 크래킹

사내 문서를 읽고 답해주는 AI 에이전트를 도입해본 팀이라면 비슷한 경험을 했을 것이다. 시연은 훌륭했는데 청구서를 받아보고 놀란다. 원인은 대개 같다. 에이전트가 질문 하나에 답하려고 계약서와 보고서와 PDF를 통째로 열어 읽기 때문이다. 이번에 arXiv에 올라온 연구는 이 문제를 정면으로 다루면서 흥미로운 해법을 내놓았다. 답하는 김에 데이터를 정리해두자는 것이다.

무엇을 했는가

연구진이 먼저 보여준 것은 비용의 구조다. 에이전트가 여러 문서에 흩어진 근거를 모아야 하는 질문(팬아웃 질문)에서는 한 번의 질의에 최대 100만 토큰이 들어간다. 반면 필요한 정보가 이미 표 형태로 정리돼 있다면 같은 질문은 데이터베이스 조회 한 번으로 끝난다.

여기서 "그러면 미리 다 구조화해두면 되지 않나"라는 반문이 나온다. 논문은 그게 안 되는 이유를 분명히 한다. 문서 하나에서 뽑아낼 수 있는 구조는 실제로 쓰일 구조보다 압도적으로 많고, 어떤 구조가 쓸모 있을지는 질문이 들어오기 전에는 알 수 없다. 전부 구조화하는 것은 낭비이고, 아무것도 안 하면 매번 비싸다.

작동 원리

연구진이 제안한 '에이전틱 데이터 크래킹(agentic data cracking)'은 이 딜레마를 시점을 옮겨 푼다. 구조화를 미리 하지도, 아예 안 하지도 않고, 추론하는 과정의 부산물로 한다.

동작은 이렇다. 에이전트가 질문에 답하려고 어떤 문서를 여는 순간, 그 문서는 이미 컨텍스트에 올라와 있다. 이때 '크래킹' 하위 에이전트가 그 컨텍스트에서 갈라져 나온다. 이미 로드된 상태에서 분기하므로 문서를 다시 읽는 비용이 들지 않고, 추가 비용은 한계비용 수준이다. 이 하위 에이전트는 지금 질문에 필요한 것만이 아니라, 앞으로 들어올 법한 관련 질문에 쓰일 구조까지 미리 뽑아 쌓아둔다.

두 가지 성격이 핵심이다. 하나는 적응적(adaptive)이라는 점으로, 실제 들어온 질문이 언제 무엇을 구조화할지 결정한다. 다른 하나는 투기적(speculative)이라는 점으로, 지금 질문의 범위를 넘어 미리 뽑아둔다. 시간이 지날수록 구조화된 데이터로 완전히 답할 수 있는 질문의 비율이 올라가고, 그만큼 문서를 여는 횟수가 줄어든다. 캐시가 데워지는 것과 비슷하다.

그래서 진짜 의미하는 것

53%라는 숫자는 인상적이지만 조건을 봐야 한다.

이 결과는 FanOutQA 벤치마크에 "테스트 질문 하나당 관련 질문 하나"를 추가한 설정에서 나왔다. 즉 같은 문서군을 두 번 물어보는 상황이다. 연구진이 이 설정을 고른 이유는 분명하다. 크래킹은 미리 쌓아둔 구조가 나중에 재사용돼야 이득이 나는 기법이고, 재사용이 전혀 없으면 투기적으로 뽑아둔 구조는 그냥 낭비다. 따라서 이 53%를 "어떤 워크로드에서든 반값"으로 읽으면 안 된다. 질문이 서로 무관하게 한 번씩만 들어오는 환경에서는 이득이 훨씬 작거나 없을 수 있다.

반대로 말하면 적용 대상이 뚜렷하다. 같은 문서 더미를 여러 사람이 반복해서 묻는 곳이다. 사내 규정 문의, 계약서 검토, 실적 발표 자료 분석처럼 질문은 다양해도 근거 문서는 겹치는 업무가 여기 해당한다. 이런 곳에서는 사람이 늘수록 크래킹이 쌓이고 단가가 내려간다.

한 가지 더 짚을 것은 정확성의 위험이다. 투기적으로 뽑아둔 구조는 나중에 원문을 다시 열지 않고 그대로 쓰이므로, 추출 시점의 오류가 이후 답변에 계속 남는다. 논문은 정확도가 유지됐다고 보고하지만, 실제 도입할 때는 구조화된 값이 원문과 어긋나지 않는지 검증하는 장치와, 문서가 갱신됐을 때 쌓아둔 구조를 무효화하는 규칙이 필요하다. 이 부분은 논문이 다룬 범위 밖이다.

큰 그림에서 이 연구가 말하는 것은 RAG(검색 증강 생성)와 에이전트를 대립시키던 구도를 바꾸자는 제안에 가깝다. 지금까지는 싸고 얕은 RAG와 비싸고 깊은 에이전트 중에 골라야 했다. 크래킹은 에이전트가 비싸게 알아낸 것을 버리지 않고 쌓아, 시간이 갈수록 RAG에 가까운 단가로 수렴시키자는 발상이다.

마무리

에이전트 도입의 병목이 성능에서 비용으로 옮겨간 지는 꽤 됐다. 이 논문은 그 비용을 모델을 바꿔서가 아니라 데이터 계층에서 줄이려 한다는 점에서 눈여겨볼 만하다. 다만 지금 단계에서는 "반복 질의가 많은 문서 기반 업무"라는 조건이 붙는 초기 연구로 보는 편이 정확하다.

출처

Milad Rezaei Hajidehi, Qitong Wang, Stratos Idreos 외, "Token-Efficient Data Reasoning Agents via Adaptive Structuring of Unstructured Data", arXiv:2608.31082, 2026년 8월 31일. https://arxiv.org/abs/2608.31082v1