📄 슬라이딩 윈도우 어텐션이 선형 어텐션을 이겼다
긴 문서를 통째로 넣고 질문하는 일이 일상이 되면서, 언어모델의 '긴 맥락 처리'는 성능 문제이자 곧 비용 문제가 됐다. 지금의 어텐션 구조는 토큰이 하나 늘 때마다 그 앞의 모든 토큰과 비교해야 하고, 키와 값을 메모리에 계속 쌓아둬야 한다. 문서가 길어질수록 비용이 제곱으로 불어난다는 뜻이다. 그래서 지난 몇 년간 '선형 어텐션(Linear Attention)'이 유력한 해법으로 주목받았다. 그런데 이번 arXiv 논문은 그 기대에 정면으로 제동을 건다. 제목부터가 결론이다. '슬라이딩 윈도우가 선형 어텐션을 이긴다.'
무엇을 비교했나
논문이 비교한 두 선택지는 이렇다.
| 방식 | 설명 | 비용 |
|---|---|---|
| 선형 어텐션 (Linear Attention) | 어텐션 계산을 선형 비용으로 근사. 기존 모델을 사후 학습(post-training)해 개조 | 개조를 위한 추가 학습 비용이 큼 |
| 슬라이딩 윈도우 어텐션 (SWA) | 각 토큰이 최근 일정 구간만 바라보게 제한. 여기에 싱크(sink) 토큰을 더함 | 추가 학습 불필요, 메모리 적음 |
핵심 주장은 단순하다. 선형 어텐션 연구가 그동안 '더 단순한 기준선'과 제대로 겨뤄본 적이 없다는 것이다. 저자들이 여러 모델과 다양한 하위 과제에서 실제로 붙여본 결과, 싱크를 붙인 SWA는 사후 학습된 선형 어텐션 모델과 같거나 더 나은 성능을 냈다.
격차가 가장 크게 벌어진 곳은 롱컨텍스트 추론이었다. 긴 문서에 정답 한 줄을 숨겨놓고 찾게 하는 Needle-in-a-Haystack, 그리고 긴 맥락에서 여러 단서를 이어 붙여 추론해야 하는 BABILong에서 SWA는 선형 어텐션보다 2배에서 10배까지 높은 성능을 기록했다.
왜 이런 결과가 나오나
직관적으로는 이상하게 들린다. 슬라이딩 윈도우는 최근 구간만 보므로 오히려 긴 맥락에 약해야 할 것 같기 때문이다. 하지만 두 방식이 정보를 버리는 방식이 다르다는 점이 갈림길로 보인다.
선형 어텐션은 지나간 맥락 전체를 고정 크기의 상태로 압축해 들고 간다. 이론적으로는 모든 과거를 보지만, 실제로는 압축 과정에서 세부 정보가 뭉개진다. 특히 '긴 문서 안에 딱 한 번 등장한 특정 문장'처럼 압축에 잘 살아남지 못하는 정보가 문제가 된다. 반면 슬라이딩 윈도우는 보는 범위를 좁히는 대신, 그 안의 정보는 원래의 어텐션 그대로 정확하게 본다. 여기에 싱크 토큰이 더해지면 모델이 주의를 흘려보낼 곳이 생겨 안정성이 올라간다.
게다가 SWA는 기존 모델에 그대로 적용할 수 있다. 선형 어텐션으로 개조하려면 상당한 사후 학습이 필요한데, SWA는 그런 과정 없이 바로 쓸 수 있고 속도도 빠르며 메모리도 적게 쓴다. 성능이 비슷하기만 해도 유리한데, 롱컨텍스트에서는 성능마저 앞섰다는 것이다.
그래서 진짜 의미하는 것
이 논문을 '선형 어텐션은 실패한 방향'이라고 읽으면 지나친 해석이다. 저자들도 그렇게 말하지 않는다. 논문의 결론은 조건부다. 선형 어텐션 모델이 가능성을 보여준 것은 맞지만, SWA를 따라잡으려면 처음부터 새로 학습하거나 훨씬 광범위한 사후 학습이 필요할 것 같다는 것이다. 즉 이 결과가 겨냥한 대상은 '선형 어텐션이라는 아이디어'가 아니라 '기존 모델을 선형 어텐션으로 개조하는 방식'이다.
그럼에도 실무적인 함의는 꽤 명확하다. 추론 메모리 비용을 줄이려는 팀이라면, 개조 학습에 자원을 투입하기 전에 SWA를 먼저 기준선으로 놓고 재봐야 한다는 것이다. 새 기법이 등장하면 기존의 단순한 방법과 비교하는 단계가 자주 생략되는데, 이 논문이 지적하는 지점이 바로 거기다.
한 가지 주의할 점도 있다. 이 결과는 논문이 실험한 모델들과 과제 조합에서 관찰된 것이고, 롱컨텍스트 성능 차이는 Needle-in-a-Haystack과 BABILong이라는 특정 벤치마크에서 측정된 값이다. 두 벤치마크는 긴 맥락 능력을 재는 대표적인 도구이지만, 실제 서비스에서 마주치는 모든 긴 문서 상황을 대변하지는 않는다. 슬라이딩 윈도우가 구조적으로 윈도우 밖의 정보를 직접 보지 못한다는 제약도 그대로 남아 있다. 도입을 검토한다면 자기 데이터로 다시 재보는 과정이 필요하다.
마무리
정리하면 이렇다. 화려한 새 구조보다 잘 조정된 단순한 방법이 더 나을 수 있고, 그 사실은 제대로 비교해봐야만 드러난다. 비용 절감을 목표로 아키텍처를 손보려는 팀에게 이 논문은 '먼저 가장 싼 방법부터 재보라'는 실용적인 권고를 던진다.
출처: Alexia Jolicoeur-Martineau, Rhea Sanjay Sukthanker, Pashmina Cameron, Emy Gervais, "Sliding-window beats linear attention", arXiv:2608.28444 (2026년 8월 28일)