📉 생성형 AI 활용 능력, 사내 교육으로는 늘지 않았다

회사가 전사에 생성형 AI 도구를 깔아주고, 사용법 교육까지 한 차례 돌렸다. 반년 뒤 직원들의 AI 활용 수준은 얼마나 올라갔을까. 많은 조직이 이 질문에 제대로 답하지 못한 채 다음 도구를 도입한다. 실제로 어떻게 쓰이고 있는지 들여다볼 방법이 없기 때문이다.

8월 27일 arXiv에 공개된 한 연구는 그 로그를 직접 들여다봤다. 한 대기업의 백오피스 직원 약 4,000명이 8개월 동안 남긴 프롬프트 713,564건과 그에 대한 대형언어모델(LLM) 응답 전체가 분석 대상이다. 설문이나 자기보고가 아니라 실제 사용 기록이라는 점에서 좀처럼 나오기 어려운 데이터다.

무엇을 관찰했는가

이 연구가 잰 것은 사용량이 아니라 **정교함(sophistication)**이다. 얼마나 자주 썼는가가 아니라 어떻게 썼는가를 봤다는 뜻이다. AI 도입 성과를 계정 수나 호출 건수로 재는 관행과는 출발점이 다르다.

세 가지 발견

1. 직급이 높을수록 더 정교하게 쓴다. 시니어 직원일수록 정교한 사용 패턴을 보였다. 연구진은 이를 도메인 전문성이 생성형 AI 역량을 대체하는 것이 아니라 보완한다는 해석과 일치하는 결과로 읽는다. 무엇을 물어야 하는지 아는 사람이 더 잘 묻는다는, 어찌 보면 당연하지만 71만 건 규모로 확인된 적은 드물었던 이야기다.

2. 직무별 격차가 상당히 크다. 전략, 디지털혁신, 프로젝트관리 세 그룹의 정교함이 가장 높았다. 연구진은 이 세 그룹이 전사 차원의 전략 과제와 조직 변화에 초점을 둔다는 공통점을 지적한다. 정형화된 반복 업무보다, 답이 정해져 있지 않은 문제를 다루는 자리에서 AI가 더 정교하게 쓰인다는 신호로 볼 수 있다.

3. 시간이 지나도, 교육을 받아도 늘지 않았다. 가장 불편한 발견이다. 8개월 동안 정교함의 향상이 관찰되지 않았고, 공식 AI 교육 이후에도 지속되는 개선은 나타나지 않았다. 연구진은 정교한 사용이 바꾸기 어려운 것일 수 있다고 조심스럽게 결론짓는다.

그래서 진짜 의미하는 것

세 번째 발견은 「AI 사내 교육은 돈 낭비」라는 문장으로 요약되기 딱 좋다. 그 요약은 이 논문이 말한 것보다 한참 나간 것이다. 선을 정확히 그어보자.

논문이 실제로 보여준 것

• 한 대기업에서, 8개월 동안, 관찰된 범위 안에서 정교함의 평균적 향상이 없었다

• 교육 직후의 일시적 변화가 아니라 지속적 개선이 없었다는 것이 정확한 표현이다

• 직급과 직무라는 구조적 변수가 개인의 학습보다 정교함을 더 잘 설명했다 붙여야 할 단서

• 관찰 연구지 통제된 실험이 아니다. 직급이 정교함을 만든다는 인과 주장으로 읽으면 안 된다.

• 단일 기업의, 그것도 백오피스 직군에 한정된 데이터다. 개발·연구·디자인처럼 AI 활용 양상이 전혀 다른 직군은 표본에 없다.

• 결과 전체가 「정교함」을 무엇으로 정의하고 어떻게 측정했는가에 달려 있다. 초록만으로는 그 지표의 구성을 알 수 없으므로, 인용하기 전 본문의 측정 방식을 확인하는 것이 좋다.

• 8개월은 조직의 업무 습관이 바뀌기에 긴 시간이라고 단정하기 어렵다.

실무에는 어떤 의미인가

한국 기업의 AI 도입 현장에 옮겨놓으면 세 가지 질문이 남는다.

첫째, 성과 지표를 바꿔야 한다. 라이선스 수와 월간 사용률은 정교함과 별개의 숫자다. 사용량이 늘어도 쓰는 방식이 그대로면 성과는 따라오지 않는다.

둘째, 일회성 집합 교육의 기대치를 낮춰야 한다. 이 연구가 효과를 찾지 못한 것은 정확히 그런 형태의 「공식 교육」이다. 직무 맥락에 붙은 반복적 코칭이나, 실제 업무 산출물을 놓고 피드백하는 방식이 대안으로 검토될 만하다.

셋째, 잘 쓰는 사람이 이미 사내에 있다. 직무별 편차가 크다는 것은 조직 안에 정교한 사용 패턴이 실재한다는 뜻이다. 그 패턴을 찾아내 프롬프트 템플릿이나 사내 가이드로 자산화하는 편이, 외부 강사를 부르는 것보다 현실적일 수 있다.

마무리

이 연구의 가치는 「AI를 쓰면 생산성이 오른다」는 상투적 결론을 반복하지 않는 데 있다. 오히려 도입과 교육이라는 흔한 처방이 정교한 사용으로 자동 연결되지 않는다는, 관리자 입장에서는 달갑지 않은 신호를 실제 로그로 보여준다. 도구를 더 사는 것과 잘 쓰게 만드는 것은 다른 문제라는 뜻이다.

---

출처: Nicholas J. Hallman, Zachary T. Kowaleski, Anu Puvvada, Jaime J. Schmidt, Sophistication in GenAI Use: Field Evidence from a Large Firm, arXiv:2608.27364 (2026-08-27)