📄 LLM 텍스트 학습의 한계, 논문이 증명했다

"데이터를 더 많이 먹이면 결국 언어를 진짜로 이해하게 될 것이다." 지난 몇 년간 AI 업계를 움직여온 암묵적 믿음이다. 실제로 모델은 커질수록 더 그럴듯해졌고, 그래서 이 믿음은 검증할 필요조차 없는 전제처럼 취급돼 왔다. 그런데 이번에 arXiv에 올라온 논문은 정반대 방향에서 질문을 던진다. 데이터의 양이 아니라 텍스트라는 매체 자체에 넘을 수 없는 천장이 있는 것은 아닌가.

무엇을 증명했나

논문이 던지는 질문은 한 문장으로 요약된다. 듣는 쪽이 발화의 '형태'만 보고 말한 사람이 의도한 '의미'를 복원할 수 있는가.

저자들은 이를 정보이론으로 다뤘다. 언어 사용을 의미, 맥락, 발화라는 세 요소의 결합분포로 모델링한 뒤, 발화의 표현으로부터 의도된 의미를 복원할 확률의 상한을 유도했다. 여기서 '표현'은 아주 넓게 잡혀 있다. 텍스트를 벡터로 바꾸는 어떤 방식이든 해당되며, 현대 대형 언어모델의 은닉상태도 포함된다.

결론은 이렇다. 형태가 의미에 대해 남기는 불확실성은 두 부분으로 나뉜다. 하나는 애초에 줄일 수 없는 부분이고, 다른 하나는 오직 언어 바깥의 맥락만이 해소할 수 있는 부분이다. 후자는 발화 그 자체로는 결코 풀리지 않는다. 그리고 이 양들은 언어에 내재된 성질이므로, 학습 데이터를 아무리 늘리고 감독을 아무리 정교하게 해도 어떤 표현도 이 한계를 넘어설 수 없다. 의미 공간이 이산적이든 연속적이든 결론은 유지된다.

저자들은 이론에 그치지 않고 세 가지 실험으로 근거를 보탰다. 통제된 인공 언어, 중국어의 영대명사(zero-pronoun) 해소, 그리고 색상 지시 과제다.

왜 이런 한계가 생기나

가장 이해하기 쉬운 사례가 중국어 영대명사다. 중국어에서는 주어를 생략하는 일이 흔하다. 한국어도 마찬가지다. "먹었어?"라는 문장만 놓고 보면, 누가 무엇을 먹었는지는 문장 안에 아예 없다. 이 정보는 그 자리에 있던 사람, 시간, 앞선 대화 같은 언어 바깥의 맥락에만 존재한다.

여기서 중요한 것은 이 정보가 '아직 학습되지 않은' 것이 아니라 '텍스트에 존재하지 않는다'는 점이다. 세상의 모든 문장을 다 모아도 그 자리에서 누가 먹었는지는 복원되지 않는다. 색상 지시 실험도 같은 구조다. 누군가 "저 파란색"이라고 말했을 때 어떤 색을 가리켰는지는 그 순간의 시야에 있던 색들에 달려 있고, 그 시야는 발화에 담기지 않는다.

논문의 기여는 이 직관을 정량화했다는 데 있다. "맥락이 중요하다"는 말은 오래된 언어학의 상식이지만, 그 중요성이 복원 확률의 수학적 상한으로 얼마나 되는지, 그리고 그 상한이 어떤 표현 방식에도 적용된다는 것을 형식적으로 보인 것은 다른 이야기다.

그래서 진짜 의미하는 것

이 논문을 잘못 읽는 방식이 두 가지 있다.

첫 번째 오독은 "LLM은 근본적으로 언어를 이해할 수 없다"는 결론으로 건너뛰는 것이다. 논문이 말하는 것은 그게 아니다. 상한이 있다는 것과 그 상한이 낮다는 것은 전혀 다른 이야기다. 대부분의 실용적 과제에서 텍스트만으로도 충분히 높은 복원 확률에 도달할 수 있고, 실제 LLM의 성능이 그것을 보여준다. 이 연구는 천장의 존재를 증명했지 그 높이가 낮다고 주장하지 않았다.

두 번째 오독은 반대 방향이다. "그래도 스케일링하면 언젠가 해결된다"는 낙관이다. 논문의 핵심은 바로 이 지점을 반박한다. 이 한계는 모델의 부족함에서 오는 것이 아니라 텍스트라는 입력이 담고 있지 않은 정보에서 온다. 데이터를 늘리는 것으로는 원리적으로 메울 수 없는 종류의 간극이다.

실무적으로 유용한 함의는 여기서 나온다. 모델이 특정 과제에서 계속 틀릴 때, 그것이 학습으로 고칠 수 있는 문제인지 아니면 입력에 정보가 없어서 생긴 문제인지를 구분해야 한다는 것이다. 후자라면 답은 더 큰 모델이나 더 많은 데이터가 아니라, 언어 바깥의 맥락을 시스템에 명시적으로 넣어주는 쪽이다. 사용자 상태, 이전 이력, 화면에 무엇이 보이는지 같은 정보를 프롬프트에 실어주는 설계가 왜 성능을 크게 끌어올리는지를 이 논문은 이론적으로 설명해준다.

마무리

한계도 짚어둘 필요가 있다. 이 논문은 이론 연구이고, 실험은 인공 언어와 두 가지 언어 현상으로 이론을 예시한 수준이다. 실제 서비스에서 이 상한이 구체적으로 어느 지점에 놓이는지를 측정하는 일은 남아 있다. 그럼에도 "더 많은 텍스트"가 만능이 아니라는 것을 형식적으로 보인 것은 지금 시점에 충분히 새겨둘 만한 결과다.

출처: Emily Cheng, Ryan Cotterell, "A Formal Limitation on Learning Human Language From Textual Corpora", arXiv:2608.28560 (2026년 8월 28일)