📄 딥페이크 탐지, 저화질·저사양에서도 되게 만들기

실제 딥페이크는 화질이 좋지 않다

딥페이크 탐지 연구의 성능 수치는 대체로 높다. 그런데 실제로 문제가 되는 영상은 연구실 데이터셋처럼 깨끗하지 않다. 메신저로 몇 번 돌려진 저화질 영상, 캡처를 다시 캡처한 이미지, 여러 번 압축된 클립이 대부분이다. 게다가 이런 것을 걸러내야 하는 쪽은 대형 GPU 서버가 아니라 모바일 앱이나 플랫폼의 실시간 필터인 경우가 많다. 2026년 9월 4일 arXiv에 공개된 이 논문은 그 간극을 정면으로 다룬다. 기존 탐지 모델이 고화질 입력, 고정된 추론 경로, 연산량이 큰 구조를 전제하기 때문에 저해상도·저사양 환경에서 쓰기 어렵다는 문제 제기다.

무엇을 했는가

제안된 방법은 AdaGate-DF다. 이름 그대로 적응형 게이트가 핵심이다. 들어온 이미지의 품질 신호를 먼저 읽고, 그에 따라 샘플을 서로 다른 경로로 흘려보낸다. 화질이 좋아 판단이 쉬운 이미지는 앞쪽 출구에서 일찍 빠져나가고, 애매한 이미지만 더 깊은 경로를 탄다. 이중 다중 출구(dual multi-exit) 구조라고 부른다.

평가는 딥페이크 분야의 표준 벤치마크 두 개, Celeb-DF와 FaceForensics++에서 이뤄졌다. 비교 대상은 MaD-CoRN, DefakeHop++, ShuffleNetV2였다.

어떻게 작동하는가

조기 종료(early exit)라는 아이디어 자체는 새롭지 않다. 신경망 중간중간에 출구를 두고, 확신이 서면 끝까지 가지 않고 답을 내는 방식이다. AdaGate-DF의 선택은 그 출구를 언제 쓸지를 이미지 품질로 결정한다는 데 있다.

이것이 왜 자연스러운 설계인지는 생각해 보면 알 수 있다. 딥페이크 탐지에서 어려운 사례와 쉬운 사례를 가르는 가장 큰 변수 중 하나가 화질이다. 선명한 이미지는 얼굴 경계의 부자연스러움, 조명 불일치, 텍스처 이상 같은 단서가 초반 층에서도 잘 잡힌다. 반면 화질이 뭉개진 이미지는 그 단서 자체가 압축 과정에서 손실되어 사라진다. 그러니 품질 신호는 이 샘플이 얼마나 어려울지에 대한 꽤 좋은 사전 예측치가 된다. 어려운 것에만 연산을 쓰고 쉬운 것은 빨리 흘려보내면, 평균 연산량이 내려가면서 정확도는 크게 손해 보지 않는다.

해상도를 올릴수록 AUC가 꾸준히 올라가 384×384에서 0.9708에 도달했다는 결과도 이 설명과 맞물린다. 정보가 많아질수록 탐지가 쉬워진다는 당연한 사실을 확인해주는 동시에, 반대로 저해상도에서는 성능이 내려간다는 뜻이기도 하다.

그래서 진짜 의미하는 것

이 논문을 새로운 최고 성능 딥페이크 탐지기로 읽으면 곤란하다. 기여는 그쪽이 아니다. 게이트 라우팅과 다중 출구, 품질 기반 분기는 각각 이미 알려진 기법이고, 이 연구는 그것을 딥페이크 탐지라는 문제에 맞춰 조합했다. 신규성보다는 배포 가능성의 이야기다.

그리고 그 이야기는 한국 상황에서 특히 실질적이다. 딥페이크 피해가 문제가 되는 지점은 대개 고화질 원본이 아니라, 메신저와 커뮤니티를 돌며 몇 번씩 재압축된 저화질 파일이다. 탐지를 서버로 다 올려 보내는 구조는 비용과 지연, 그리고 민감한 이미지를 전송한다는 문제까지 안는다. 기기 안에서 가볍게 1차 판별을 하고 애매한 것만 올리는 구조가 현실적인데, AdaGate-DF가 겨냥하는 것이 정확히 그 자리다.

한계도 분명히 해 두자. AUC 0.9370은 벤치마크 데이터셋 기준이며, 실제 유통되는 영상은 생성 모델도 다르고 후처리도 다르다. 벤치마크에서 잘한 탐지기가 새로운 생성 기법 앞에서 무너지는 일은 이 분야에서 반복되어 왔다. 논문이 보고한 것은 두 데이터셋에서의 결과이지 야생 환경에서의 성능이 아니다. 또 조기 종료 구조는 평균 연산은 줄이지만 최악의 경우 지연은 줄여주지 않는다. 실시간 처리에 쓴다면 이 점을 따로 봐야 한다.

마무리

딥페이크 탐지는 성능 경쟁만으로는 사회적 문제를 못 푼다. 아무리 정확해도 무거워서 못 돌리면 안 쓰이고, 안 쓰이면 없는 것과 같다. 이 연구는 정확도를 조금 양보하는 대신 돌아갈 수 있는 곳을 늘리는 쪽을 택했다. 탐지 기술을 실제로 배포해야 하는 입장이라면 눈여겨볼 접근이다.

출처: Vaishnavi Sen, Cody Laurie, Rashida Hasan, 「Adaptive Gated Deepfake Detection for Low-Resolution and Resource-Constrained Environments」, arXiv:2609.05320, 2026년 9월 4일.