축구 하이라이트 AI, 전용 학습 없이 72% 정확도

하이라이트를 만드는 데 축구를 배울 필요가 있을까

주말 경기가 끝나면 몇 분 안에 하이라이트 영상이 올라온다. 이 작업을 자동화하려는 시도는 오래됐고, 방식은 거의 정해져 있었다. 수만 건의 경기 영상에 사람이 직접 '여기가 골, 여기가 경고' 라벨을 붙이고, 그 데이터로 축구 전용 모델을 학습시키는 것이다. SoccerNet 같은 대형 데이터셋이 이 방식을 받쳐 왔다.

10월 27일 arXiv에 올라온 논문은 그 전제를 건너뛴다. 축구를 따로 가르치지 않은 범용 멀티모달 모델에게 경기 중계를 그냥 보여주고, 사건을 찾아보라고 시킨 것이다.

무엇을 했는가

연구진은 90분 전체 중계를 서로 겹치는 짧은 구간으로 자른 뒤, 각 구간을 두 가지 형태로 압축해 모델에 건넸다.

첫째는 스토리보드다. 구간 안의 여러 프레임을 한 장의 격자 이미지로 붙인 것으로, 만화의 컷 배열과 비슷하다. 둘째는 같은 구간의 중계 자막 텍스트다. 모델은 그림과 말을 같이 보고 사건의 종류와 시점을 판단한다.

F1@5s는 모델이 찾은 시점이 실제 사건 시점에서 5초 안에 들어왔을 때만 정답으로 보는 기준이다. 축구 데이터로 학습한 기존 모델들은 교차 데이터셋 조건, 다시 말해 학습한 리그가 아닌 다른 경기에서 평가했을 때 범용 모델에 밀렸다. 연구진은 여기에 한 단계를 더 붙여, 찾아낸 사건마다 왜 흥미로운지 자연어로 근거를 달고 그 점수로 순위를 매기게 했다.

그래서 진짜 의미하는 것

72%라는 숫자만 보면 상용 수준과는 거리가 있다. 열 개 중 셋은 놓치거나 잘못 잡는다. 하지만 이 논문의 의미는 절대 성능이 아니라 비교의 구도에 있다.

핵심은 교차 데이터셋이라는 조건이다. 전용 모델이 자기가 학습한 리그 안에서는 여전히 더 정확할 가능성이 크다. 범용 모델이 이긴 지점은 처음 보는 경기, 처음 보는 중계 스타일이었다. 전용 학습은 성능을 좁고 깊게 만들고, 범용 모델은 얕지만 넓게 만든다. 새 리그, 새 종목, 새 중계사가 계속 추가되는 현실에서는 후자의 넓이가 더 값싸게 확장된다.

두 번째로 눈여겨볼 것은 스토리보드다. 비용을 72% 줄인 것은 모델을 바꿔서가 아니라 입력 형식을 바꿔서다. 영상 AI에서 프레임을 하나씩 다 넣는 관습은 당연해 보이지만, 사람이 축구를 볼 때 모든 프레임을 따로 기억하지 않는 것처럼 모델도 그럴 필요가 없었다. 멀티모달 모델을 실무에 쓸 때 입력을 어떻게 포장하느냐가 모델 선택만큼 효과가 크다는 뜻이다.

과장하지 않기 위해 한계를 적어 둔다. 평가에 쓴 경기가 3경기, 사건 130개뿐이다. 통계적으로 결론을 굳히기에는 작은 표본이고, 저자들도 수작업 라벨링의 범위를 그 이상 넓히지 못했다. 또 이 방식은 중계 자막에 상당히 의존한다. 자막이 없거나 품질이 낮은 중계, 해설이 적은 경기에서는 성능이 어떻게 되는지 이 논문으로는 알 수 없다.

마무리

전용 데이터를 모으는 일이 늘 정답은 아니다. 범용 모델에 무엇을 어떻게 보여줄지 설계하는 일이 때로 더 빠른 길이 된다. 다만 좁고 깊은 정확도가 필요한 자리에서는 여전히 전용 모델의 몫이 있다.

출처: Sadia Kamal, Mahmudul Hasan, Tony Braskich, "Zero-Shot Multimodal Event Spotting in Soccer Broadcasts", arXiv:2610.37583, 2026년 10월 27일.