📄 코딩 AI 학습 데이터, 10%만 골라 쓰니 더 잘했다

AI 학습에서 오랫동안 통했던 전략은 단순했다. 데이터를 더 모으는 것. 특히 코딩 에이전트처럼 여러 단계를 거쳐 문제를 푸는 모델은, 성공적으로 이슈를 해결한 작업 기록을 최대한 많이 모아 학습시키는 방식이 표준에 가까웠다. 성공한 기록이니 좋은 교재라는 전제였다.

최근 arXiv에 공개된 SWE-Prime은 이 전제를 정면으로 뒤집는다. 연구진의 주장은 이렇다. 문제를 풀어냈다는 사실이 그 과정까지 좋았다는 뜻은 아니다. 그리고 실제로 전체 데이터의 10%만 골라서 학습시켰더니, 전체를 다 쓴 것보다 더 잘하는 모델이 나왔다.

무엇을 했나

연구진은 성공한 작업 기록 안에도 비효율적이거나 불필요하거나 위험한 단계가 섞여 있다는 점에 주목했다. 이런 기록을 그대로 학습에 쓰면 모델은 정답과 함께 나쁜 습관도 같이 배운다. SWE-Prime은 학습 데이터를 두 단계로 걸러낸다.

결과는 아래와 같다.

데이터를 90% 버렸는데 성능은 올라갔다는 뜻이다.

어떻게 작동하나

눈여겨볼 만한 설계는 2단계에 있다. 연속된 작업 단계들을 의미 단위로 묶은 뒤, 각 구간이 최종 해결에 실제로 기여했는지, 모델이 배울 만한 것인지, 따라 하면 위험한 것인지를 평가한다.

여기서 중요한 처리가 하나 들어간다. 걸러낸 구간을 입력에서 삭제하지는 않는다. 모든 구간을 문맥에는 그대로 남겨두고, 선별된 구간만 손실 계산에 반영한다. 쉽게 말해 "이런 흐름이 있었다는 건 보여주되, 이 부분은 따라 하지 마라"에 가깝다. 나쁜 구간을 통째로 잘라내면 앞뒤 맥락이 끊겨 오히려 학습이 어려워지는데, 이 방식은 그 문제를 피한다.

그래서 진짜 의미하는 것

첫째, 감독 신호의 질이 양보다 앞선다는 구체적 사례다. 지금까지 학습 데이터 논의는 대체로 "얼마나 모았나"에 머물러 있었다. 이 연구는 같은 데이터 안에서도 무엇을 손실에 반영하느냐에 따라 결과가 달라진다는 것을 보여준다.

둘째, "성공했으니 좋은 예시"라는 가정이 위험하다는 점이 실무적으로 유용하다. 사내에서 에이전트 로그를 모아 파인튜닝을 검토하는 팀이라면, 성공 여부만으로 데이터를 거르고 있지는 않은지 점검해볼 만하다. 돌아가긴 했지만 엉망이었던 기록은 생각보다 많다.

---

셋째, 다만 이걸 "데이터 수집은 필요 없다"로 읽으면 곤란하다. 10%를 고르려면 먼저 100%가 있어야 한다. 그리고 선별 과정 자체에 비용과 판단이 들어간다. 무엇이 좋은 구간인지 평가하는 기준을 누가, 어떻게 정하느냐에 따라 결과가 달라질 여지가 있다. 학습 비용은 줄지만 데이터 준비 비용은 늘어난다는 점을 함께 봐야 한다.

넷째, 수치를 읽을 때 주의가 필요하다. 12.2%와 24.2%는 상대 성능 향상치이고, SWE-Bench 계열 두 개에서 측정한 결과다. 벤치마크가 다르거나 과제 성격이 다르면 같은 폭의 개선을 기대하기 어렵다. 두 벤치마크 사이에서도 개선 폭이 두 배 가까이 차이 난다는 점 자체가, 이 방법의 효과가 과제에 따라 달라진다는 신호로 볼 수 있다.

마무리

"데이터를 더 모으자"는 여전히 유효한 전략이지만, 이 연구는 거기에 조건을 하나 붙인다. 모은 다음에 걸러야 한다는 것. 성공한 기록이라는 이유만으로 학습 데이터에 넣고 있다면, 그 기록들이 모델에게 무엇을 가르치고 있는지 한 번쯤 들여다볼 필요가 있다.

출처

Dewu Zheng, Ruizhe Ye, Yanlin Wang 외 7명, "SWE-Prime: Fewer Trajectories, Better Performance", arXiv:2608.27449, 2026년 8월 27일. https://arxiv.org/abs/2608.27449v1