AI 학습 데이터 추적, 난이도 보정이 바꾼 판별 정확도
"내 그림이 AI 학습에 들어간 것 같다"는 문제 제기는 이제 국내에서도 익숙한 장면이다. 문제는 그 의심을 확인할 방법이 마땅치 않다는 데 있다. 학습 데이터 목록을 공개하는 곳은 드물고, 외부에서 들여다볼 수 있는 것은 완성된 모델뿐이다. 그래서 연구자들은 모델만 보고 "이 이미지가 학습에 쓰였는가"를 되묻는 기술을 만들어 왔다. 이것이 멤버십 추론(membership inference), 특정 데이터가 학습 집합에 포함됐는지 추정하는 방법이다. 이번에 공개된 논문은 이 기술이 왜 자주 틀리는지 짚고, 꽤 단순한 교정으로 성능을 끌어올렸다.
기존 방식이 자주 틀리는 이유
표준 접근은 단순하다. 확산 모델(diffusion model, 노이즈를 단계적으로 걷어내며 이미지를 만드는 생성 모델)에 이미지를 넣고 복원 손실을 측정해, 손실이 낮으면 학습에 쓰인 데이터로 판정한다. 외운 것은 잘 복원할 테니 그럴듯한 발상이다.
허점은 이미지마다 복원 난이도가 다르다는 데 있다. 하늘만 찍힌 단순한 사진은 모델이 한 번도 본 적 없어도 손실이 낮게 나오고, 디테일이 빽빽한 일러스트는 학습에 썼더라도 손실이 높게 나온다. 그 결과 점수는 암기 여부가 아니라 이 그림이 쉬운가를 측정하게 된다. 창작자 입장에서 보면, 공들인 그림일수록 도리어 학습 흔적이 가려지는 구조다.
난이도를 두 개의 시간축으로 지운다
연구진의 해법은 난이도 보정이다. 같은 이미지를 조건만 바꿔 한 번 더 측정하고, 두 값의 차이만 남긴다. 난이도는 두 측정에 똑같이 섞여 있으니 빼면 사라지고 암기 흔적만 남는다는 논리다. 기준을 어디서 가져오느냐에 따라 두 가지 방법이 나온다.
| 방법 | 무엇과 비교하나 | 필요한 것 | 특징 |
|---|---|---|---|
| RMC (참조 모델 보정) | 미세조정된 모델 ↔ 그 이전 체크포인트 | 이전 체크포인트 | 새로 암기된 데이터만 분리. 텍스트 캡션 없이도 거의 완벽한 감사 |
| TSC (시간적 자기보정) | 목표 타임스텝 ↔ 같은 모델의 인접 타임스텝 | 모델 하나 | 체크포인트가 없을 때 쓸 수 있음 |
TSC의 근거가 특히 흥미롭다. 이미지의 난이도는 노이즈 수준이 바뀌어도 꾸준히 유지되는데, 암기는 특정 시간대에 국소적으로 나타난다는 관찰이다. 그래서 같은 모델의 옆 타임스텝 손실을 기준선으로 삼으면, 꾸준한 성분인 난이도는 상쇄되고 들쭉날쭉한 성분인 암기만 남는다. 체크포인트를 따로 보관하지 않은 모델에도 쓸 수 있다는 점이 실용적이다.
성능은 기존 최고 수준을 큰 차이로 앞섰고, x·v·ε 예측처럼 서로 다른 파라미터화에도 일반화됐다고 보고한다. 기존 공격 대부분이 특정 설정에서만 통했다는 점을 감안하면, 이 일반화가 성능 수치보다 더 중요한 성과다.
그래서 진짜 의미하는 것
가장 오해하기 쉬운 지점부터 짚자. 이 연구는 이제 누구나 아무 모델이나 감사할 수 있다는 이야기가 아니다. 두 방법 모두 복원 손실을 계산해야 하므로 모델 가중치나 최소한 손실을 질의할 권한이 필요하다. 챗봇 화면만 쓰는 이용자가 자기 그림의 사용 여부를 확인하는 도구는 아니라는 뜻이다. RMC는 이전 체크포인트까지 요구하니 조건이 더 까다롭다.
그렇다면 어디에 쓰이나. 모델을 손에 쥔 쪽의 감사다. 서비스 제공자가 자사 모델이 특정 작가의 작업물로 미세조정됐는지 내부 점검하는 경우, 또는 분쟁에서 모델을 제3자 감사 기관에 제출해 검증받는 경우가 현실적인 시나리오다. 특히 RMC가 새로 암기된 데이터만 분리한다는 점은 미세조정 단계에서 무엇이 추가로 들어갔는지 따질 때 바로 들어맞는다. 사전학습 전체를 추적하는 것보다 분쟁이 자주 생기는 지점이기도 하다.
한계도 분명히 적어 둘 필요가 있다. 논문은 탐지 성능을 벤치마크 기준으로 보고하며, 법적 증거로서 요구되는 신뢰 수준은 다루지 않는다. 한 사람의 작업물을 두고 학습에 쓰였다고 단정하려면 오경보를 어느 수준까지 감수할지 먼저 정해야 하는데, 그것은 기술이 아니라 제도의 영역이다. 논문이 제공하는 것은 판정의 정확도를 끌어올린 도구이고, 그 도구를 어떤 기준으로 쓸지는 아직 비어 있다.
마무리
이 연구의 미덕은 새 모델을 만들지 않았다는 데 있다. 기존 방법이 측정하던 것이 실은 그림의 난이도였다는 진단 하나로 성능 격차를 만들었다. AI 감사 기술에서 자주 반복되는 교훈이기도 하다. 측정값이 무엇을 재고 있는지 되묻는 일이, 더 큰 모델을 붙이는 일보다 먼저다.
출처: Michael Joseph, Yedid Hoshen, "Difficulty Calibration Across Time for Membership Inference in Diffusion Models", arXiv:2610.40616v1 (2026-10-29). https://arxiv.org/abs/2610.40616v1