AI 음성인식 보안, 소리 한 조각에 뚫린다

회의 중에 AI 회의록 도구를 켜 둔다. 운전하면서 음성 비서에게 메시지를 보낸다. 이제 말하기는 타이핑만큼이나 평범한 입력 방식이 됐다. 그런데 키보드로 입력한 글자는 눈으로 확인할 수 있는 반면, 음성은 그렇지 않다. 최근 공개된 연구 하나는 이 차이가 얼마나 위험한지를 보여준다. 내 말 앞에 짧은 소리 한 조각이 끼어들기만 해도, 받아쓰인 결과는 내가 한 말이 아닐 수 있다.

기존 음성 공격과 무엇이 다른가

음성인식 시스템을 속이는 적대적 오디오 연구는 전부터 있었다. 다만 실전에서 쓰기엔 조건이 까다로웠다. 공격할 발화마다 따로 오디오를 만들어야 하거나, 피해자의 음성 파형과 시간을 정밀하게 맞춰야 했다. 앞으로 무슨 말이 나올지 모르면 쓸 수 없는 공격이었던 셈이다.

GhostPrefix가 깬 것이 바로 이 제약이다.

이름 그대로 '프리픽스', 즉 앞에 붙이는 조각이다. 임의의 실시간 발화 앞에 이 조각을 덧붙이면 그 뒤에 어떤 말이 이어지든 인식 결과가 흔들린다.

세 가지 모드와 측정된 성공률

연구진은 공격을 세 갈래로 나눴다. 의미를 원하는 방향으로 끌고 가는 프롬프트형, 특정 문장으로 아예 바꿔치기하는 표적형, 인식 품질 자체를 망가뜨리는 비표적형이다.

4개 계열 13개 오픈소스 음성인식 모델에서 측정한 결과는 이렇다.

여기서 눈여겨볼 숫자는 공기 중 성공률이다. 적대적 오디오 연구의 상당수는 파일을 직접 넣는 환경에서만 통하고, 스피커로 재생해 마이크로 다시 받으면 효과가 무너진다. 90% 안팎을 유지했다는 것은 이 공격이 실험실 밖에서도 작동할 여지가 있다는 뜻이다.

연구진은 눈에 덜 띄게 만드는 작업도 함께 했다. 프리픽스가 평범한 환경음 분포에 가깝도록 제약을 걸어, 듣는 사람에게 잡음 정도로 넘어가게 했다. 그리고 왜곡된 결과가 음성 비서나 AI 회의록 같은 후속 도구로 그대로 흘러 들어가 체계적인 의미 왜곡을 낳았다고 보고했다.

그래서 진짜 의미하는 것

이 결과를 "음성 비서를 쓰면 위험하다"로 받아들이면 과장이다. 짚어야 할 전제가 있다. 실험 대상은 오픈소스 모델 13개이고, 상용 서비스가 같은 수치로 뚫린다는 보장은 없다. 공기 중 공격은 공격자가 피해자 근처에서 소리를 낼 수 있어야 하므로 아무 데서나 성립하지도 않는다.

그렇다고 가볍게 볼 문제도 아니다. 이 연구가 드러낸 구조적 약점은 공격 성공률 자체가 아니라, 음성 입력이 검증받지 못한 채 다음 단계로 넘어간다는 점이다. 글로 입력하면 사용자가 보낸 내용을 눈으로 확인한다. 반면 음성은 들린 대로 받아쓰이고, 받아쓴 결과는 보통 사람이 읽기 전에 요약이나 명령 실행으로 넘어간다. 즉 검증 없이 신뢰되는 입력 경로가 하나 열려 있는 것이다. 프롬프트 인젝션이 글에서 하던 일을 소리로 옮겨 놓은 셈이라고 봐도 좋다.

방어 관점에서 남는 것은 이렇다. AI 회의록이나 음성 명령을 업무에 쓰는 조직이라면, 받아쓰기 결과가 곧바로 실행이나 요약으로 들어가는 구간에 사람이 확인하는 단계를 하나 두는 편이 안전하다. 특히 송금이나 외부 발송처럼 되돌리기 어려운 동작은 음성만으로 확정하지 않는 것이 낫다. 모델을 만드는 쪽에서는 발화 앞머리의 비정상적인 구간을 감지하거나 걸러내는 방어가 숙제로 남는다. 저자들이 코드와 시연을 공개한 것도 이 방어 연구를 염두에 둔 것으로 보인다.

마무리

음성 입력은 편해서 빠르게 퍼졌다. 이 연구는 그 편리함이 "들린 것은 말한 것과 같다"는 가정에 기대고 있었음을 보여준다. 가정이 깨질 수 있다면, 깨졌을 때 무엇이 잘못되는지를 미리 따져 두는 편이 낫다.

---

출처: Shengding Liu, Ashwin Innuganti, Qiben Yan, "GhostPrefix: Synchronization-Free Universal Prefix Attacks for ASR Manipulation", arXiv:2610.42026 (2026년 10월 30일)