이미지 생성 AI, 언어 사전학습 없이도 된다

지난 몇 해 이미지 생성 AI를 만드는 방식에는 일종의 정석이 있었다. 인터넷 전역에서 긁은 텍스트로 언어 모델을 충분히 학습시키고, 그 언어 이해 능력을 밑바탕으로 이미지를 빚는다는 생각이다. 문장을 제대로 알아듣지 못하면 그에 맞는 그림을 그릴 수 없으니 당연한 전제처럼 보인다. 스탠퍼드대 연구진이 이 전제를 정말 그런가 하고 물었고, 답은 생각과 달랐다.

무엇을 했는가

연구진은 Halcyon이라는 모델 계열을 만들었다. 핵심은 언어 사전학습을 아예 하지 않았다는 점이다. 이미지와 텍스트를 짝지어 모은 1억 쌍 분량의 데이터셋 GPIC만 가지고, 처음부터 한 모델 안에서 이미지와 텍스트를 함께 받아들이는 초기 융합 방식으로 학습시켰다.

수치는 생각보다 선명하다.

연산량을 275배나 줄이고도 더 나은 점수를 냈다는 말이다. gFD는 생성된 이미지가 진짜 이미지 분포에 얼마나 가까운지 재는 지표로, 숫자가 낮을수록 품질이 좋다는 뜻이다.

여기에 한 가지 통제 실험이 더 붙는다. 텍스트만으로 하는 사전학습을 더해 봤지만 이미지 생성 품질은 개선되지 않았다. 그러니까 언어 사전학습은 생략해도 되는 정도가 아니라, 이 설정에서는 도움이 되지 않았다는 것이다.

부가적으로, 캡션 드롭아웃을 이미지에서 텍스트를 만드는 학습으로 바꿔 넣으면, 같은 사전학습 예산 안에서 생성 품질을 지킨 채 이미지 설명 기능까지 함께 얻었다. 코드와 모델은 공개되어 있다.

그래서 진짜 의미하는 것

이 결과를 언어 모델은 이미지 생성에 쓸모없다로 받아들이면 너무 멀리 가는 것이다. 논문이 보여주는 것은 이미지와 텍스트가 짝지어진 데이터만 충분하면, 언어 지식을 미리 따로 쌓아 놓지 않아도 모델이 그 언어와 이미지의 관계를 한꺼번에 배울 수 있다는 것이다.

여기에는 현실적인 함의가 있다. 사전학습에 드는 돈과 장비가 이미지 생성 모델 진입의 가장 큰 병목이었는데, 275배라는 수치는 그 병목이 생각만큼 단단하지 않을 수 있다는 신호다. 거대한 언어 모델을 먼저 훈련할 여력이 없는 연구진이나 스타트업도 겨룰 만한 이미지 생성 모델을 만들 여지가 열릴 수 있다는 뜻이다.

다만 과장하지 않고 짚어 둘 한계도 있다. 비교 대상은 LlamaGen과 JiT 계열이고, 상용 서비스에서 쓰이는 최상위 생성 모델과 직접 견줄 것은 아니다. 모델 크기도 0.52B와 1.6B로 작은 편이다. gFD 같은 자동 지표가 사람이 체감하는 이미지 품질과 정확하게 일치하지 않는다는 지적도 오래된 얘기다. 또 긴 문장을 세밀하게 따라가는 지시 이행 능력이 언어 사전학습 없이도 같은 수준으로 유지되는지는 더 큰 모델에서 다시 확인해야 할 부분이다.

그렇더라도 통념을 통제 실험으로 건드렸다는 점에서 이 연구는 짚어 둘 만하다. 당연하다고 여긴 전제가 생각보다 쉽게 달라질 수 있다는 것을 보여주기 때문이다.

원문: Keshigeyan Chandrasegaran, Yue Zhao, Armin W. Thomas 외 5명, Text-to-Image Generative Modeling Without Language Pretraining, arXiv:2610.26863, 2026년 10월 19일.