뇌 신호 해독 AI, 성능은 뇌가 아닌 단서에서 나왔다

"생각을 읽는 AI"라는 말이 나올 때마다

머리에 전극을 꽂지 않고도 뇌 활동에서 말을 읽어내는 연구는 늘 큰 주목을 받는다. 수술 없이 가능하다면 말을 잃은 사람에게 목소리를 돌려줄 수 있다는 기대 때문이다. 그런데 2026년 9월 30일 arXiv에 올라온 짧은 논문 하나가 이 분야의 최근 성과에 불편한 질문을 던졌다. 보고된 성능 향상이 정말 뇌에서 온 것인가.

뇌 데이터 없이도 같은 점수가 나왔다

문제가 된 것은 영향력이 컸던 d'Ascoli 외(2025)의 방식이다. 이 방법은 연속된 말을 듣는 피험자의 뇌 활동 시계열을 각 단어의 시작점에서 고정 길이 창으로 잘라낸 뒤, 신경망이 문장 안의 단어들을 한꺼번에 예측하게 한다. 문제는 이웃한 창이 부분적으로 겹친다는 데 있었다. 창이 겹치는 정도가 곧 단어 사이의 간격, 즉 각 단어를 발음하는 데 걸린 시간을 알려준다.

그리고 단어마다 길이가 다르다. 'the'는 짧고 'supercalifragilisticexpialidocious'는 길다. 신경망은 뇌 활동을 보지 않고도 "이 자리에 들어갈 단어는 아주 짧다"는 정보만으로 후보를 크게 좁힐 수 있었다. 저자들의 검증은 간결하다.

0.3%포인트 차이다. 보고된 성능의 사실상 전부가 뇌가 아닌 타이밍 단서에서 나왔다는 뜻이다.

고친 방법은 한 줄이었다

연구진이 바꾼 것은 하나다. 문장에 속한 창들을 함께 인코딩하지 말고 각각 독립적으로 처리한다. 겹침이 사라지니 타이밍 단서가 새어 들어갈 통로도 사라진다.

흥미로운 일은 그다음에 벌어졌다. 단축 경로가 막히자 신경망은 어쩔 수 없이 단어별로 다른 뇌 반응을 배우기 시작했고, 그러자 이전에는 효과가 미미했던 두 가지 기존 전략이 비로소 제 몫을 했다. 같은 단어에 대한 서로 다른 뇌 반응 여러 개를 모아 예측을 합치는 것, 그리고 사전학습 언어모델을 언어적 사전지식으로 쓰는 것이다. 이렇게 조합한 SimpleB2T는 단어당 다섯 번 관측하는 조건에서 단어 오류율 36.6%를 기록했다. 조건이 달라 직접 비교는 어렵지만, 과거 침습적 음성 해독이 도달했던 수준에 근접한 숫자다.

그래서 진짜 의미하는 것

이 논문을 "뇌 해독은 사기였다"로 읽으면 핵심을 놓친다. 결론은 정반대에 가깝다. 단축 경로를 막았더니 실제 성능이 올라갔다. 가짜 단서가 있을 때 모델은 그것만 쓰고 멈추기 때문에, 그 길을 끊는 일이 곧 성능 개선이 된다.

오해하기 쉬운 지점을 두 가지 짚어 보자. 첫째, 여기서 해독한 것은 피험자가 '들은' 말이다. 머릿속으로 떠올린 생각이 아니다. '생각을 읽는다'는 표현과는 거리가 있다. 둘째, 36.6%라는 단어 오류율은 단어당 다섯 번의 관측을 전제로 한다. 같은 단어를 다섯 번 들려주고 그 반응을 모아야 나오는 숫자이므로, 실시간으로 처음 듣는 문장을 받아 적는 상황과는 다르다.

한계는 저자들도 분명히 적었다. 침습적 해독과의 비교는 조건이 다르다고 명시했고, 개선의 상당 부분은 관측 반복과 언어모델 사전지식에서 온다. 즉 뇌에서 뽑아내는 정보량 자체가 극적으로 늘어난 것은 아니다.

마무리

AI 성능 발표를 읽는 일반적인 교훈이 하나 있다. 숫자가 올랐을 때 "무엇이 올렸는가"를 묻는 가장 싼 방법은, 원래 정보원이라고 믿었던 신호를 전부 지운 입력을 넣어 보는 것이다. 그랬는데도 점수가 비슷하게 나온다면 그 점수는 다른 데서 왔다. 이번 연구가 한 일이 정확히 그것이고, 같은 질문은 뇌 해독 밖에서도 유용하다.

출처: Dulhan Jayalath, Oiwi Parker Jones, "Removing Timing Shortcuts Improves Non-Invasive Brain-to-Text", arXiv:2609.40359, 2026년 9월 30일.