📈 AI 자율 연구, 10개월 작업을 10주에 끝냈다

사람 10개월치 연구를 AI가 10주에

AI가 논문을 읽고 실험을 설계하고 코드를 짜서 결과를 내는 이른바 자율 연구는 지난 몇 년간 계속 시연돼 왔다. 다만 성공 사례 대부분이 언어 모델링이나 생의학 벤치마크처럼 목표와 평가 지표가 뚜렷하고 탐색 범위가 좁은 문제였다. 실무의 문제는 그렇지 않다. 무엇을 입력으로 삼을지, 어떤 구조를 쓸지, 학습 데이터를 어떻게 만들지부터 열려 있다. 이번 연구는 그런 개방형 문제에 자율 연구를 붙이면 실제로 어디까지 가는지를 기록했다.

통신사 장애 티켓 검색이라는 실제 과제

대상 문제는 통신사 운영 현장에서 쌓이는 장애 티켓을 검색하는 일이다. 새 장애가 접수되면 과거에 비슷한 사례가 있었는지 찾아내는 작업으로, 표현 방식·모델 구조·학습 데이터 생성까지 연구자가 정해야 할 것이 많다. 연구진은 여기에 상용 에이전트와 오픈소스 에이전트를 붙이고 사람 감독을 최소한으로 줄였다.

최고 성능의 약 90% 수준을 기간은 4분의 1, 비용은 수백 달러로 냈다는 뜻이다. 숫자만 보면 인상적이다.

잘한 것과 못한 것이 갈렸다

연구진의 관찰은 한쪽으로 기울지 않는다. 자율 연구가 확실히 강했던 구간은 좁은 하이퍼파라미터 최적화였다. 설정을 바꿔가며 반복해서 돌리고 결과를 비교하는 일은 지치지 않고 빠르게 해낸다. 반대로 약했던 지점은 문제를 어떻게 정의할지, 어떤 표현을 시도해볼지 정하는 단계다. 사람 연구자가 경험에서 끌어내는 직관과 창의성이 여기서 빠졌다. 게다가 에이전트를 돌리고 결과를 정리하는 운영 부담이 따로 들었다.

그래서 진짜 의미하는 것

"AI가 연구자를 대체한다"는 결론으로 건너뛰기 전에 짚어야 할 점이 있다.

성능 0.34와 0.38의 격차는 상댓값으로는 10% 남짓이지만, 검색 품질에서 이 정도 차이는 실사용 체감으로 이어질 수 있다. 90%라는 표현이 "거의 같다"로 읽히면 곤란하다. 또 이것은 과제 하나에 대한 단일 사례 연구다. 다른 도메인, 다른 난이도에서 같은 비율이 재현될지는 알 수 없다. 기간 비교도 엄밀한 통제 실험이 아니라 사람 연구가 걸렸던 실제 기간과의 대조다. 사람 쪽 10개월에는 문제 정의와 시행착오가 포함돼 있고, 자율 연구는 그 결과 위에서 출발했다.

그럼에도 실무자에게 유용한 지점은 남는다. 방향이 이미 정해진 뒤의 탐색과 튜닝은 지금 기술로도 상당 부분 넘길 수 있다는 것, 그리고 무엇을 풀지 정하는 일은 여전히 사람 몫이라는 것이다. 연구진이 내린 권고도 대체가 아니라 협업이다.

마무리

자율 연구를 도입하려는 팀이라면 "사람을 줄인다"보다 "사람이 방향을 잡고 탐색을 맡긴다"는 그림이 현재 기술 수준에 맞는다. 비용이 수백 달러 규모라는 점은 일단 한번 시도해볼 만한 근거가 된다.

출처: Junghyun Min, Huseyin Uzunalioglu, Mohamed Trabelsi 외, "Autonomous Research for Open-Ended Problems: A Case Study on Telecom Ticket Retrieval", arXiv:2609.13073 (2026-09-11), https://arxiv.org/abs/2609.13073v1