AI 에이전트 위임, 불만은 결과가 아니라 감독에 있었다
생각보다 힘들어지는 지점
AI 에이전트에게 일을 맡긴 사람들의 경험담을 보면 한 가지 패턴이 반복된다. 결과물 자체는 생각보다 괜찮은데, 그것을 맡기고 지켜보는 과정이 힘들다는 이야기다. 어디까지 권한을 열어야 하는지, 지금 무엇을 하고 있는지 어떻게 확인하는지, 돈은 얼마나 드는지.
그런데 에이전트를 평가하는 연구는 거의 항상 다른 것을 재어 왔다. 과제를 몇 퍼센트 완수했는가. arXiv에 오른 이 논문은 그 지표 바깥에 있는 것을 보려고 한다. 사람들은 실제로 무엇 때문에 만족하고 무엇 때문에 답답해하는가.
무엇을 했는가
연구진은 자율 AI 에이전트 도구 OpenClaw를 쓴 경험을 1인칭으로 적은 레딧 게시물 73,093건을 모았다. 그리고 가치 민감 설계(Value Sensitive Design)라는 HCI 분석 틀을 적용해, 게시물 하나하나를 네 가지 기준으로 분류했다. 어떤 가치를 말하는가, 에이전트의 어떤 측면을 말하는가, 그 가치가 충족됐는가, 사용자에게 어떤 결과로 이어졌는가.
걸러진 가치는 21가지였고, 이는 여섯 개 묶음으로 모인다.
| 가치군 | 사용자가 원하는 것 |
|---|---|
| 자율적 운영 | 일일이 지시하지 않아도 진행될 것 |
| 신뢰할 수 있는 운영 | 같은 조건에서 같은 수준으로 움직일 것 |
| 부담 없는 운영 | 비용이 감당할 만할 것 |
| 권한 범위 제한 | 내가 허락한 선을 넘지 않을 것 |
| 검토 가능성 | 무엇을 했는지 나중에 돌아볼 수 있을 것 |
| 공정한 접근 | 쓰고 싶은 사람이 쓸 수 있을 것 |
핵심 결과는 이 가치들이 어느 대목에 몰려 있느냐였다. 게시물에서 각 대목이 차지하는 분량을 감안해 보정하자, 가치는 에이전트가 내놓은 산출물이 아니라 사람이 실행 전후에 짜는 운영 조건 주변에 집중됐다.
그리고 더 뚜렷한 대조가 나온다. 사용자가 '에이전트가 무엇을 해냈는가'를 말하는 대목에서는 여섯 가치군 중 다섯에서 가치가 충족된 것으로 나타났다. 반대로 '그것을 감독하는 과정'을 말하는 대목에서는 여섯 가치군 전부에서 충족되지 않았다. 만족과 불만이 고르게 흩어진 것이 아니라 한쪽으로 몰려 있다는 뜻이다.
연구진은 이 패턴에 '가치 민감 위임(value-sensitive delegation)'이라는 이름을 붙였다.
왜 이런 결과가 나오는가
생각해보면 자연스러운 구석이 있다. 산출물은 마음에 들지 않으면 다시 시키면 된다. 재생산이 가능하다. 그러나 감독 조건은 그렇지 않다. 권한을 어디까지 열지, 진행 상황을 어떻게 들여다볼지, 어느 단계에서 멈춰 사람이 확인하게 할지는 매번 사람이 미리 정해 두어야 하는 설정이다. 이 설정이 한 번 어긋나면 결과물이 아무리 좋아도 사용자에게는 나쁜 경험으로 남는다.
뒤집어 말하면, 지금의 에이전트 도구들은 실행 능력 자체는 많이 다듬었지만 그 주변의 통제판은 상대적으로 덜 다듬었다는 진단이 된다.
그래서 진짜 의미하는 것
이 논문을 "에이전트는 생각보다 쓸 만하다"나 "에이전트는 아직 부족하다"로 읽으면 둘 다 빗나간다. 논문의 주장은 성능에 대한 것이 아니다. 평가의 초점이 한쪽으로 기울어져 있다는 지적이다.
에이전트를 업무에 도입하려는 쪽에는 이런 함의가 있다. 도구를 고를 때 벤치마크 점수만 봐서는 정작 현장에서 갈릴 부분을 가리기 어렵다. 로그가 남는가, 어느 지점에서 사람 확인을 거치게 할 수 있는가, 권한을 어떤 단위로 쪼갤 수 있는가, 중간에 물어보게 만들 수 있는가. 이런 것이 사용자 만족도를 더 많이 좌우한다는 것이 이 논문의 데이터다.
동시에 이 연구가 무엇을 보지 못하는지도 짚어야 한다. 자료는 사용자가 자발적으로 온라인에 쓴 글이다. 사람은 일이 잘 풀렸을 때보다 말썽이 생겼을 때 글을 쓴다. 부정적 경험이 실제 분포보다 크게 잡혔을 가능성은 있다. 분류 작업에 LLM이 보조로 쓰였다는 점, 단일 도구를 쓴 비교적 초기 사용자 집단이라는 점도 감안해야 한다.
그러나 분량 보정을 거치고도 여섯 가치군 전부에서 감독 대목만 어긋났다는 일관된 패턴은 우연으로 돌리기 어렵다.
마무리
에이전트 경쟁이 과제 수행 능력 지표를 중심으로 돌아가는 동안, 사용자의 실제 경험은 다른 곳에서 결정되고 있을 수 있다. 에이전트를 도입하거나 만드는 사람이라면 "얼마나 잘하느냐"와 나란히 "맡기기 전에 무엇을 정해 둘 수 있게 할 것인가"를 질문 목록에 올려둘 만하다.
출처
Renkai Ma, Ruyuan Wan, Xuan Lu 외, "Value-Sensitive Delegation in Everyday AI Agent Use: Evidence from OpenClaw", arXiv:2609.22067, 2026년 9월 18일. https://arxiv.org/abs/2609.22067v1