📄 의료 AI 설명가능성, 병원 밖에서 무너지는 이유
자기 병원에서만 똑똑한 AI
의료 AI 논문에서 자주 보는 문장이 있다. "사망률 예측에서 높은 정확도를 달성했다." 인상적인 결과다. 그런데 같은 모델을 다른 병원에 가져가면 성능이 눈에 띄게 떨어지는 일이 반복해서 벌어진다.
원인은 생각보다 허무하다. 모델이 환자의 상태를 배운 게 아니라, 그 병원 진료기록의 생김새를 배웠기 때문이다. 진료기록에는 병원마다 다른 서식이 있다. 특정 문구로 시작하는 상용구, 항목을 나누는 구분자, 부서마다 다른 템플릿 같은 것들이다. 그런데 이런 서식은 환자 상태와 우연히 상관관계를 갖는 경우가 많다. 예를 들어 중환자실에서 쓰는 템플릿으로 작성된 기록이라면 그 환자는 실제로 위중할 가능성이 높다. 모델은 환자의 증상 대신 '이 템플릿이 쓰였는가'를 보고 예측해도 원내 데이터에서는 높은 점수를 받는다.
병원을 옮기면 이 지름길이 사라진다. 그래서 무너진다.
CAST: 모델이 무엇을 보고 있는지 열어 본다
8월 27일 arXiv에 공개된 논문은 이 문제를 '정확도를 더 올리는' 방식이 아니라 '모델 내부를 열어 잡음을 제거하는' 방식으로 접근한다. 제안된 프레임워크의 이름은 CAST(Concept-guided Artifact Suppression Tuning), 우리말로 옮기면 개념 안내형 잡음 억제 조정이다.
작동은 네 단계다.
- 희소 오토인코더(SAE)로 특징을 펼친다. SAE는 최근 AI 해석가능성 연구에서 가장 주목받는 도구다. 트랜스포머 내부의 뒤엉킨 활성값을, 사람이 하나씩 뜯어볼 수 있는 희소한 특징들로 분해한다.
- 각 특징에 이름을 붙인다. LLM 기반 해석 파이프라인으로 각 특징이 무엇에 반응하는지 라벨을 달고, ICD-10(국제질병분류) 검색 제약을 걸어 임상적으로 말이 되는 개념인지 확인한다.
- 잡음 특징을 억제한다. 검증 결과 '환자 상태'가 아니라 '기록 서식'에 반응하는 것으로 확인된 특징을, 미세조정 과정에서 잔차 뺄셈으로 눌러 버린다.
- 감사 추적을 남긴다. 각 예측이 어떤 임상 개념에 기대고 있었는지, 학습 중 어떤 잡음 개념이 억제됐는지를 개념 단위로 기록한다.
결과는 어땠나
MIMIC-IV(공개된 대규모 중환자 진료기록 데이터셋)의 퇴원 요약을 사용한 사망률 예측 과제에서, CAST는 동일 조건의 인코더 미세조정 기준선을 개선했고 강력한 LLM 기준선과도 경쟁력 있는 성능을 보였다.
여기서 표현을 정확히 읽을 필요가 있다. 논문은 '압도했다'가 아니라 '개선했고 경쟁력 있다'고 쓴다. 즉 CAST의 판매 포인트는 정확도 신기록이 아니다.
| 기존 미세조정 | CAST |
|---|---|
| 정확도는 높지만 근거는 블랙박스 | 비슷한 수준의 정확도에 개념 단위 감사 추적을 더함 |
| 배포 환경이 바뀌면 취약 | 서식 의존 특징을 학습 단계에서 억제 |
| 왜 틀렸는지 사후 확인이 어려움 | 예측을 뒷받침한 임상 개념을 열람 가능 |
그래서 진짜 의미하는 것
첫째, 이 논문은 해석가능성을 '설명 기능'이 아니라 '학습 개입 수단'으로 쓴다. 대부분의 설명가능 AI는 모델이 예측을 마친 뒤 근거를 사후에 붙여 준다. CAST는 다르다. 내부를 들여다본 결과를 근거로 학습 과정에 개입해 특정 특징을 제거한다. 해석이 관찰에서 그치지 않고 처방으로 이어진다는 점이 실질적 차이다.
둘째, 오해하기 쉬운 지점. '감사 가능하다'는 것이 '올바르다'는 보증은 아니다. SAE가 뽑아낸 특징에 라벨을 붙이는 과정 자체가 LLM의 해석에 의존한다. 라벨이 틀리면 잘못된 특징을 억제하거나 진짜 잡음을 놓칠 수 있다. 감사 추적은 사람이 검토할 재료를 제공하는 것이지, 검토를 대신해 주지 않는다.
셋째, 검증 범위를 과대 해석하면 안 된다. 이 연구는 MIMIC-IV라는 단일 공개 데이터셋의 퇴원 요약 기반 사망률 예측에서 확인됐다. 논문이 지적하는 문제가 '병원이 바뀌면 무너진다'는 것인 만큼, 여러 기관에 걸친 실제 이관 검증이 뒤따라야 주장이 완성된다.
의료 AI 도입을 검토하는 국내 의료기관에도 시사점이 있다. 벤더가 제시하는 성능 수치가 어느 기관의 데이터에서 나온 것인지, 그리고 모델이 무엇을 근거로 판단했는지를 확인할 수 있는지가 정확도 소수점보다 중요한 질문일 수 있다는 것이다.
마무리
의료 AI에서 신뢰의 문제는 오랫동안 '정확도를 얼마나 더 올릴 것인가'로 다뤄져 왔다. 이 논문은 질문을 바꾼다. 그 정확도가 어디서 왔는지 확인할 수 있는가. 환자 상태에서 왔는지 진료기록 서식에서 왔는지 구분할 수 없다면, 그 정확도가 병원 문 밖에서도 유지된다는 보장은 없다.
출처: Jin Mu, Guanhua Chen, 「Making Clinical Language Models Auditable: Concept-Guided Fine-Tuning for Robust Prediction」, arXiv:2608.27397, 2026년 8월 27일.