📄 AI 에이전트 보안, 공격 기술이 스스로 진화한다
챗봇이 이상한 말을 하게 만드는 것과 AI 에이전트가 이상한 행동을 하게 만드는 것은 전혀 다른 문제다. 앞의 경우 결과물은 화면에 뜬 문장 하나다. 뒤의 경우는 파일이 지워지거나, 메일이 발송되거나, 외부 서비스에 요청이 나간다. 되돌릴 수 없는 일이 실제로 벌어진다.
최근 arXiv에 공개된 RedEvoAgent 연구는 이 차이에서 출발한다. LLM 에이전트가 실제 도구를 실행하는 환경에 배포되면서, 탈옥(jailbreak, 모델의 안전장치를 우회하는 것)의 결과가 유해한 문장 생성을 넘어 실제 도구 실행과 지속적인 상태 변경으로 이어지게 됐다는 문제의식이다. 연구진은 이런 취약점을 사람보다 먼저, 자동으로 찾아내는 레드팀 에이전트를 만들었다.
무엇을 만들었나
레드팀은 방어자 입장에서 자기 시스템을 미리 공격해보는 보안 절차다. RedEvoAgent는 이 과정을 자동화한 에이전트로, 대상 시스템의 내부 구조를 모르는 블랙박스 상태에서 취약점을 찾는다.
기존 자동 레드팀 방식과의 차이는 다음과 같다.
| 방식 | 접근 | 한계 및 보완점 |
|---|---|---|
| 고정형 공격 | 미리 정해둔 공격 기법을 반복 적용 | 대상이 바뀌면 잘 통하지 않음 |
| 기록 검색형 에이전트 | 과거 공격 기록 전체를 검색해 재사용 | 검색 편향으로 잘못된 경험을 재사용, 문맥 부담이 크고 해석이 어려움 |
| RedEvoAgent | 여러 사례를 사람이 읽을 수 있는 간결한 서술로 압축 | 검증 성능이 개선된 갱신만 채택 |
실험 결과, 여러 벤치마크와 대상 모델, 실행 환경에서 기존 고정형 및 에이전트형 방식보다 높은 성능과 도구 효율을 보였고, 다른 공격 모델과 실행 환경으로도 전이됐다.
어떻게 작동하나
핵심은 경험을 쌓는 방식이다. 기존 방식은 과거 시도 기록을 통째로 저장해두고 비슷한 상황에서 꺼내 쓴다. 문제는 두 가지였다. 하나는 어떤 도구가 실제로 성공에 기여했는지 불분명해 엉뚱한 경험을 재사용한다는 것이고, 다른 하나는 기록 전체를 끌고 다니느라 문맥이 무거워지고 사람이 해석하기 어려워진다는 것이다.
RedEvoAgent는 여러 사례에서 공통된 패턴만 뽑아 짧은 서술로 압축한다. 그리고 두 가지 장치로 이 서술을 갱신한다. 하나는 도구별로 얼마나 효과가 있었는지 분석하고 성공을 결정지은 도구가 무엇인지 귀속시키는 것이고, 다른 하나는 갱신 후 검증 성능이 실제로 좋아졌을 때만 그 변경을 남기는 것이다. 뒤쪽 장치는 성능이 나빠지는 방향으로는 진화하지 않도록 막는 일종의 래칧 역할을 한다.
그래서 진짜 의미하는 것
첫째, 에이전트 보안은 챗봇 보안의 연장선이 아니다. 지금까지 AI 안전성 논의는 대체로 "모델이 무엇을 말하는가"에 집중돼 있었다. 도구 실행 권한을 가진 에이전트에서는 질문이 "모델이 무엇을 실행할 수 있는가"로 바뀐다. 사내에 에이전트를 붙이려는 팀이라면 모델 자체의 안전성만 보지 말고, 그 모델에 어떤 도구가 어떤 권한으로 연결돼 있는지를 별도로 점검해야 한다는 뜻이다.
둘째, 공격 기법이 전이된다는 결과가 특히 중요하다. 한 모델과 한 실행 환경에서 통한 방식이 다른 조합에서도 통했다는 것은, "우리는 다른 모델을 쓰니까 괜찮다"는 판단이 안전하지 않다는 의미다.
셋째, 이런 연구를 어떻게 볼 것인가의 문제도 있다. 공격을 자동화하는 연구는 늘 양날의 성격을 갖는다. 다만 레드팀 연구의 전제는 취약점이 이미 존재한다는 것이고, 방어자가 먼저 찾는 편이 낫다는 것이다. 이 논문도 방어 관점의 평가 도구로 제시됐다.
넷째, 한계를 짚어두자. 이 결과는 논문이 선정한 벤치마크와 대상 모델, 실행 환경에서의 성능이다. 자동 레드팀이 찾아내는 것은 그 도구가 탐색할 수 있는 범위 안의 취약점이지, 전부가 아니다. 자동 레드팀을 통과했다는 사실이 안전하다는 증명은 되지 않는다.
마무리
에이전트에 도구를 붙일 때 실무적으로 던져볼 질문은 단순하다. 이 에이전트가 최악의 경우 실행할 수 있는 가장 위험한 동작은 무엇인가, 그리고 그 동작은 되돌릴 수 있는가. 모델을 더 안전하게 만드는 일과 별개로, 권한을 좁히고 되돌릴 수 없는 동작에 사람의 확인을 두는 설계가 여전히 가장 확실한 방어다.
출처
Junjie Zhang, Hui Liu, Kecheng Chen 외 3명, "RedEvoAgent: Automatic Red-Teaming Agent with Experience-Driven Skill Evolution", arXiv:2608.27439, 2026년 8월 27일. https://arxiv.org/abs/2608.27439v1