📄 AI 에이전트 기억, 모델 바꾸면 살아남을까

모델은 바꿨는데, 에이전트가 예전 일을 잊어버렸다

AI 에이전트를 몇 달 굴리다 보면 대화 기록, 요약 메모, 사용자 선호 같은 것들이 쌓인다. 그러다 더 좋은 모델이 나와 갈아탄다. 메모리 저장소는 그대로 두었으니 기억도 그대로일 것 같지만, 실제로는 그렇지 않은 경우가 있다. 새 모델이 예전 메모를 다르게 해석하거나, 임베딩 버전이 섞여 검색이 어긋나거나, 문제가 생겨도 원본 근거가 없어 되돌리지 못한다. 2026년 9월 4일 arXiv에 공개된 이 논문은 "모델 업그레이드는 일상이지만 기억 이전은 그렇지 않다"는 문장으로 시작한다.

무엇을 비교했는가

연구진은 에이전트 기억을 담는 네 가지 형식을 통제된 조건에서 비교했다. 실험에는 100억 파라미터 미만의 오픈웨이트 모델 두 개를 썼다.

숫자를 그대로 보자. 고정 스키마 지식그래프는 모델이 바뀌어도 정확도가 사실상 움직이지 않았다. 반면 모델이 스스로 압축해 만든 자연어 메모는 어떤 모델로 옮기느냐에 따라 9.91%포인트 오르기도, 13.28%포인트 떨어지기도 했다. 같은 저장소, 같은 내용인데 결과가 20%포인트 넘게 벌어진 셈이다.

왜 이런 차이가 나는가

핵심은 '누가 해석의 주체인가'다. 고정 스키마 지식그래프는 정보를 정해진 칸에 넣어둔다. 어떤 모델이 읽어도 "이 칸은 사용자 이름, 저 칸은 마감일"이라는 약속이 바뀌지 않는다. 반면 압축 메모는 예전 모델이 자기 방식대로 요약해둔 글이다. 새 모델은 그 글을 자기 방식대로 다시 읽는다. 압축 과정에서 이미 정보가 소실됐고, 해석 과정에서 한 번 더 뒤틀린다.

RAG에서도 비슷한 문제가 나타났다. 임베딩 인덱스를 섞은 채 이전하면, 전체를 다시 임베딩했을 때 얻는 11.90점의 개선 중 4.96점만 회복했다. 절반도 못 건진 것이다.

복구 실험 결과는 더 인상적이다. 문제가 생겼을 때 저장된 메모만 가지고 고쳐보려 한 경우, 48건 중 90% 회복에 성공한 사례가 0건이었다. 반면 원본 기록이 남아 있는 상태에서는 48건 중 34건에서 회복에 성공했다.

그래서 진짜 의미하는 것

이 연구를 "지식그래프를 써라"로 요약하면 절반만 읽은 것이다. 진짜 메시지는 압축의 대가에 관한 것이다.

에이전트 메모리를 설계할 때 우리는 대개 비용을 줄이려 한다. 원문을 다 들고 다니면 컨텍스트가 비싸니 요약해서 저장한다. 이 논문은 그 절약이 언제 청구서로 돌아오는지를 보여준다. 평소에는 압축 메모가 잘 작동한다. 문제는 모델을 바꾸는 순간, 그리고 뭔가 잘못돼 되돌려야 하는 순간이다. 원본을 버렸다면 그때는 손쓸 방법이 거의 없다. 48건 중 0건이라는 숫자가 그 뜻이다.

그래서 실무적 결론은 양자택일이 아니다. 자주 쓰는 기억은 고정 스키마로 정규화해두고, 원본 기록은 값이 싼 저장소에 남겨두는 이중 구조가 합리적이다. 또 임베딩 모델을 바꿀 때는 부분 이전이 아니라 전체 재임베딩을 기본값으로 잡는 편이 낫다.

한계는 분명하다. 실험은 100억 파라미터 미만 오픈웨이트 모델 두 개로 이뤄졌으므로, 훨씬 큰 프런티어 모델 사이의 이전에서도 같은 패턴이 나타날지는 이 연구만으로 단정할 수 없다. 고정 스키마가 강한 것도 스키마가 잘 맞는 과제였기 때문일 수 있다. 정형화하기 어려운 기억을 억지로 칸에 넣으려다 정보를 잃는 반대 방향의 비용도 실제로는 존재한다.

마무리

에이전트를 오래 쓸수록 모델보다 기억이 자산이 된다. 그런데 모델은 몇 달마다 바뀐다. 이 논문은 "그때 당신의 기억은 살아남는가"라는 질문에 처음으로 숫자를 붙인 통제 실험이다. 지금 에이전트를 운영 중이라면, 원본 기록을 지우지 않고 있는지부터 확인해볼 만하다.

출처: Ankit Goyal, Jaideep Ray, 「Does Your Agent's Memory Survive a Model Upgrade? A Controlled Study of Memory Portability」, arXiv:2609.05339, 2026년 9월 4일.