AI 스케일링 한계, 데이터로 못 메우는 구조 격차
데이터를 더 넣으면 다 해결된다는 믿음
지난 몇 년 AI 업계를 움직인 가장 강력한 문장은 아마 이것이었다. 모델을 키우고 데이터를 늘리면 된다. 실제로 그 문장은 번역, 코딩, 이미지 생성에서 반복적으로 맞았다. 그래서 자연스럽게 따라온 결론이 있다. 도메인 전문 지식을 모델에 명시적으로 넣는 작업은 과도기의 수고이고, 결국 규모가 대체할 것이라는 결론이다.
10월 27일 arXiv에 공개된 논문 'The Structure Gap'은 그 결론이 어디까지 참인지를 따진다. 그리고 수학적으로 참이 아닌 구간이 있음을 보여준다.
무엇을 했는가
저자들은 먼저 용어를 정의한다. 구조가 내재된 문제란, 입력과 출력의 관계가 이미 알려진 어떤 구조에 의해 결정되거나 강하게 제약되는 문제다.
- 측정 연산자가 알려진 역문제 (의료 영상 복원, 신호 복구)
- 대칭성이나 보존 법칙이 있는 물리 시스템
- 그래프 구조가 정해진 네트워크 문제
- 문법이 정의된 언어나 코드
- 목적 함수가 명시된 최적화 문제 이런 문제에서 중요한 질문은 표현력이 아니라고 저자들은 말한다. 충분히 큰 신경망은 원하는 함수를 담을 수 있다. 문제는 유한한 데이터로 그 함수를 식별할 수 있는지, 학습 범위를 벗어난 입력에 외삽할 수 있는지, 결과를 보증할 수 있는지다.
이 셋에서 생기는 격차를 저자들은 구조 격차라고 부른다. 구조를 받은 방법과 예제만 받은 학습기 사이에서, 같은 자원 안에 벌어지는 차이다. 논문은 이를 가우시안 역문제에서 정확히 증명한다. 측정 연산자를 아는 위너 해법은 이론적 최선인 베이즈 위험에 도달하는데, 같은 선형 계열 안에서 학습한 밀집 신경망은 아무리 데이터를 늘려도 지속적인 초과 위험을 남긴다. 여기에 셀 커버리지 하한과, 학습 데이터에 없던 대칭 궤도는 식별 불가능하다는 결과가 더해진다. 역문제 복원, 희소 신호 복구, 크기를 바꾼 그래프 도달성 실험이 이 메커니즘을 재현한다.
그래서 진짜 의미하는 것
이 논문을 '스케일링은 틀렸다'로 읽으면 오해다. 저자들은 자신들의 주장이 절대적이 아니라 점근적이라고 분명히 못 박는다. 데이터 범위가 넓어지면 구조를 모르는 학습은 구조화된 해법에 점점 가까워진다. 논문의 주장은 다른 지점에 있다. 어떤 유한한 데이터셋에도 구조가 설계상 해소해 주는 잔여 불확실성이 남는다는 것이다.
이 차이가 실무에서는 꽤 크게 벌어진다. 기업이 다루는 문제는 대개 무한 데이터 상황이 아니라 유한 데이터 상황이다. 센서 개수는 정해져 있고, 임상 데이터는 모으는 데 몇 년이 걸리고, 공정 데이터는 설비가 바뀌면 리셋된다. 바로 그 조건에서 구조 격차가 가장 크게 나타난다.
또 하나 눈여겨볼 것은 보증이다. 연산자를 아는 해법은 왜 그 답이 나왔는지 설명할 수 있고 오차 한계를 계산할 수 있다. 예제만 학습한 모델은 평균적으로 비슷해도 개별 사례에서 얼마나 틀릴지 보장하기 어렵다. 규제 산업에서 이 차이는 성능 차이가 아니라 승인 여부의 차이다.
한계도 있다. 엄밀한 증명이 주어진 대상은 가우시안 역문제라는 비교적 단정한 설정이고, 실험도 통제된 과제들이다. 언어 모델처럼 지배 구조를 깔끔하게 써 내려갈 수 없는 영역에 이 결과를 그대로 옮기는 것은 무리다. 저자들의 조건부 표현도 분명하다. 검증된 구조가 있을 때 그것이 학습 전에 가설 공간을 좁혀 준다는 것이고, 구조가 불확실하거나 틀렸다면 오히려 해가 된다.
마무리
실무에서 가져갈 것은 양자택일이 아니다. 아는 구조는 넣고, 구조가 말해 주지 않는 부분을 학습에 맡기는 조합이다. 데이터가 귀하거나 보증이 필요한 문제라면 전문 지식을 넣는 수고는 과도기의 비용이 아니라 설계의 일부다.
출처: Kheer Sagar Patel, Mojtaba Soltanalian, "The Structure Gap: When More Data Cannot Replace Structured Reasoning", arXiv:2610.37523, 2026년 10월 27일.