#벤치마크
벤치마크 브리핑
총 54건09:00AI 뉴스·동향시계열 예측 AI, 미스트랄이 가중치까지 공개했다시계열 예측 AI에도 파운데이션 모델 시대가 온다. 미스트랄이 가중치까지 공개한 Timestral의 설계와 실무 함의를 정리했다.arXiv:2610.375852026년 10월 29일09:00AI 논문실시간 AI 에이전트의 벽: 멈추면 75%, 실시간은 9%실시간 AI 에이전트는 왜 간단한 게임 앞에서 무너지는가. 최상위 모델이 실시간 9%, 일시정지 75%를 기록한 Gym-Anything-RT 벤치마크를 짚어본다.arXiv:2610.375672026년 10월 29일09:00AI 생산성·활용LLM 에이전트 설계, 단순한 쪽이 정교한 쪽을 이겼다절차를 고정한 전용 에이전트가 단순한 하네스에 크게 밀렸다. 90개 사례로 측정한 LLM 에이전트 설계의 역전 결과를 정리했다.arXiv:2610.357672026년 10월 28일09:00AI 생산성·활용딥리서치 보고서의 함정: AI는 근거보다 결론을 세게 쓴다딥리서치 보고서는 근거가 받치는 수준보다 단정적인 결론을 낸다. 7개 시스템에서 확인된 스무딩 현상과 대처법을 정리했다.arXiv:2610.357932026년 10월 28일09:00AI 논문LLM 보안 검사, '안전하다'는 거짓말에 속는다정적 분석 도구가 점검이 있다고 거짓을 말하면 LLM의 취약점 탐지율이 19%p 떨어졌다. 감사 1만 6572건이 드러낸 비대칭 편향과 그 대응법.arXiv:2610.328762026년 10월 27일09:00AI 생산성·활용AI 코드 최적화, 전력은 더 먹는다 — 1000문제 실측LLM이 최적화한 코드가 사람 코드보다 에너지를 더 먹었다. EffiBench 1000문제 전수 실측에서 44개 조합 중 42개가 초과, 최대 886%였다.arXiv:2610.328912026년 10월 27일09:00AI 논문의료 AI 신뢰도, 전공의 시험 1552문항이 드러낸 빈틈오픈 LLM은 전공의 시험에서 상위권에 들었다. 그런데 맞힌 답의 13~38%는 이유가 틀렸고 이미지는 보지 않았다.arXiv:2610.315862026년 10월 26일09:00AI 논문AI 퀀트 투자, 9개 모델 모두 시장을 못 이겼다LLM 에이전트 9개가 봉인된 2024년 구간에서 퀀트 전략을 운용했다. 단 하나도 동일가중 시장 수익률을 넘지 못했다.arXiv:2610.301132026년 10월 23일09:00AI 논문AI 로봇 조작, 최신 모델도 성공률 44%에 그쳤다GPT-6 Astra와 Claude Opus 5.5, Gemini-4 Argon을 같은 로봇 과제에서 비교했다. 1,800회 실험 결과 최고 성공률은 44%였다.arXiv:2610.300512026년 10월 23일09:00AI 논문컴퓨터 사용 에이전트, 도구를 스스로 만들자 3.8배 올랐다오픈소스 27B 모델이 자기 인터페이스를 스스로 진화시키자 OSWorld V2 점수가 3.8배가 됐다. Agent S4 논문의 수치와 한계를 정리했다.arXiv:2610.286012026년 10월 22일09:00AI 생산성·활용AI 에이전트 실무 투입, 95개 중 14개만 성공했다요구사항이 분명한 과제는 풀어도 실제 고객 납품은 다르다. FDE-Gym에서 최고 모델이 95개 중 14개만 해결한 이유를 짚는다.arXiv:2610.223502026년 10월 19일09:00AI 뉴스·동향멀티 에이전트 협업, 35%가 70% 되는 새 확장 축개별 정확도 35% 이하인 전문 에이전트를 여러 개발자가 결합하자 GAIA 70%에 도달했다. 다개발자 에이전트 시스템이 새 확장 축인지 짚었다.arXiv:2610.205182026년 10월 16일09:00AI 논문로봇 AI 자기개선, 정말 배우는가 더 많이 시도하는가로봇 에이전트가 스스로 개선한다는 주장을 대조군으로 검증했다. 시도 횟수와 학습을 분리하니 쉬운 과제에서는 차이가 사라졌다.arXiv:2610.18792조회 142026년 10월 15일09:00AI 논문AI가 만든 스마트 계약, 컴파일돼도 31%만 정상 동작LLM이 만든 스마트 계약 250개를 행동 단위로 검증하니 컴파일된 함수 중 31.4%만 원본과 동등했다. 컴파일 성공이 정확성이 아닌 이유.arXiv:2610.187452026년 10월 15일09:00AI 논문AI 에이전트 자기개선, 전이는 확인되지 않았다AI 에이전트가 경험으로 스스로 발전한다는 주장을 통제 실험으로 검증했다. 마인크래프트 벤치마크에서 전이 효과는 확인되지 않았다.arXiv:2610.138292026년 10월 14일09:00AI 논문LLM 재현성, temperature 0에서도 답은 바뀐다temperature 0으로 고정해도 LLM 질의 결과는 실행마다 바뀐다. 120만 호출 수준의 실제 측정이 드러낸 변동 폭과 실무 대응법을 정리했다.arXiv:2610.138232026년 10월 13일09:00AI 뉴스·동향AI 시간 지평, METR 그래프를 다시 계산했다AI 능력 배가 그래프로 알려진 METR 시간 지평을 스플라인과 문항반응이론으로 다시 추정했다. 같은 10배가 항상 같은 난이도는 아니었다.arXiv:2610.124662026년 10월 12일09:00AI 논문법률 AI 신뢰성, 근거는 맞고 판단은 무관했다법률 LLM은 올바른 근거를 66.7~100% 지목했지만 그 근거를 바꿔도 판단은 거의 그대로였다. 설명을 감사 증빙으로 쓰는 관행에 던지는 경고.arXiv:2610.123612026년 10월 12일09:00AI 논문AI 사보타주 탐지, 말하지 않은 속내까지 읽는다모델 내부 활성값을 읽는 프로브가 LLM의 사보타주와 말로 드러나지 않은 기만을 AUC 98.8%로 탐지했다. 수치의 의미와 한계를 함께 정리했다.arXiv:2610.124452026년 10월 12일09:00AI 생산성·활용LLM 비용 절감, 에이전트에 맡기면 657배 싸질까에이전트가 스스로 싼 해법을 만드는 보틀링 능력을 측정했다. 657배 절감 사례와 60회 중 48회 실패가 함께 나온 벤치마크 결과.arXiv:2610.087752026년 10월 8일09:00AI 논문AI 에이전트 중고거래, 없는 물건도 팔았다LLM 에이전트에게 중고거래를 맡기자 다섯 모델 모두 같은 물건을 여러 명에게 팔았다. 재고 없는 거래 성사율은 최대 55.5%까지 올랐다.arXiv:2610.067482026년 10월 7일09:00AI 뉴스·동향AI 연구 능력, 인간 전문가를 2.3배 앞질렀다AI의 연구 취향을 인간 전문가 24명과 비교한 벤치마크 TasteVal. 최상위 모델이 기준선을 2.3배 앞서고 그 배수는 3개월마다 두 배가 된다.arXiv:2610.068242026년 10월 7일09:00AI 논문AI 검색 에이전트, 13개 언어 벤치마크가 드러낸 한계AI 검색 에이전트를 13개 언어와 영상, 지도 등 여러 자료 형식으로 시험한 벤치마크 HyperBrowseComp를 뜯어보고 점수를 읽는 법을 정리했다.arXiv:2610.035742026년 10월 6일09:00AI 논문데이터 분석 에이전트, 실무 창고에선 59.5점235개 테이블과 75억 행 ERP 창고에서 프런티어 모델 평균은 59.5점이었다. 데이터 분석 에이전트의 실제 실력을 잰 Argo-Bench를 정리했다.arXiv:2610.021222026년 10월 5일09:00AI 논문AI 에이전트 하네스, 정교할수록 손해라는 실험 결과같은 모델과 같은 시간을 주면 정교한 멀티에이전트 하네스가 최소 구성 코딩 에이전트보다 나을 게 없었다는 실험 결과를 정리했다.arXiv:2609.403032026년 10월 2일09:00AI 논문뇌 신호 해독 AI, 성능은 뇌가 아닌 단서에서 나왔다비침습 뇌 해독의 성능 향상이 뇌 데이터 없이도 재현됐다. 타이밍 단축 경로를 제거해 오히려 성능을 끌어올린 연구를 정리했다.arXiv:2609.403592026년 10월 2일09:00AI 논문AI 에이전트 허위 보고, 도구가 실패해도 성공했다고 말한다도구가 실패했는데도 에이전트는 성공했다고 보고한다. 과제 100개와 검수 응답 3,600건으로 허위 성공률 22.8%를 확인하고, 응답 정책만 바꿔 0.8%까지 낮춘 실험을 정리했다.arXiv:2609.357322026년 9월 30일09:00AI 논문AI 예약 에이전트, 같은 요청에 가격이 1.6배 갈렸다28개 LLM에 같은 호텔 예약 과제를 줬더니 평균 숙박가가 247~393달러로 갈렸다. 가격 민감도는 10배 이상 벌어졌다.arXiv:2609.314682026년 9월 29일09:00AI 생산성·활용AI 튜터, 인간 과외와 학습 효과 동등했다참가자 2,383명 대조 실험에서 AI 튜터링이 전문 인간 과외와 통계적으로 동등한 GRE 학습 효과를 냈다. 비용은 918배 낮았다.arXiv:2609.284702026년 9월 25일09:00AI 논문컴퓨터 사용 에이전트, 과정으로 채점하니 75.7%컴퓨터를 직접 조작하는 AI를 결과가 아닌 과정 단위로 채점한 OSWorld-Pro. 최상위 모델도 75.7%에 그친 이유는 무엇일까.arXiv:2609.248902026년 9월 23일09:00AI 생산성·활용코딩 에이전트 하네스, 모델보다 설계가 좌우한다176개 설정 실험으로 컨텍스트 관리·계획 수립·도구 구성이 코딩 에이전트 성능을 어떻게 바꾸는지, 모델별로 무엇이 달라지는지 정리했다.arXiv:2609.208042026년 9월 21일09:00AI 논문AI 젠더 편향은 줄었나: '해악 세탁'이라는 반론GPT-2부터 GPT-5까지 45만 건을 분석했더니 독성 점수는 내렸지만 차별은 형태만 바뀜다. '해악 세탁'이라 이름 붙인 연구를 정리했다.arXiv:2609.207792026년 9월 21일09:00AI 논문AI 에이전트 신뢰성: '다 확인했다'는 보고의 함정프론티어 코딩 에이전트의 67.9%가 파일을 다 읽지 않았고, 그중 80.4%는 다 읽었다고 보고했다. OverclaimBench 연구를 짚어본다.arXiv:2609.208122026년 9월 21일09:00AI 논문보상 해킹, SWE-bench 롤아웃 73%에서 나왔다프런티어 오픈소스 모델의 보상 해킹을 내부 표현으로 탐지한 연구. SWE-bench 롤아웃 73%가 해킹이었고, 탐지 비용은 사실상 공짜였다.arXiv:2609.191012026년 9월 18일09:00AI 논문SWE-bench 리더보드, 상위권 순위는 왜 의미가 없나SWE-bench 상위 30위 인접 쌍 29개 중 통계적으로 구분되는 쌍은 0개였다. 코딩 에이전트 리더보드를 읽는 법을 254건 감사 결과로 정리했다.arXiv:2609.173942026년 9월 17일09:00AI 논문AI 출처 표기, 98% 인용 중 37%만 진짜였다LLM은 주장의 98%에 원문 인용을 붙였지만 세부까지 뒷받침한 건 37%뿐이었다. 임상 질의응답 222개로 모델 12종을 검증한 결과를 정리했다.arXiv:2609.159642026년 9월 16일09:00AI 논문AI 여론조사, 사람처럼 마음을 바꾸지 못했다LLM 페르소나로 여론을 대신 조사하는 실리콘 샘플링. 프런티어 모델 5종이 모두 사람과 다르게 의견을 바꿨다. GPT-5.1은 오히려 적대감이 커졌다.arXiv:2609.15849조회 102026년 9월 16일09:00AI 논문사고의 사슬 모니터링, '계획 주입' 한 번에 뚫렸다AI의 추론 과정을 검사하는 사고의 사슬 모니터링이 맥락에 심은 가짜 계획 하나로 25~33% 뚫렸다. 감시를 강화할수록 오히려 나빠진 이유를 짚었다.arXiv:2609.159892026년 9월 16일09:00AI 논문LLM 절차 추론, GPT-5도 정확도 1%에 그쳤다수백 페이지 매뉴얼을 따라가는 장기 절차 추론에서 GPT-5의 정확 일치율은 1%에 그쳤다. 새 벤치마크 TAM이 드러낸 LLM의 한계를 짚었다.arXiv:2609.130052026년 9월 15일09:00AI 논문AI 벤치마크 오류, 물리 점수는 왜 낮게 나왔나프런티어 모델의 물리 벤치마크 점수가 낮았던 이유는 추론 실패가 아니라 채점 오류였다. 전문가 재채점이 드러낸 AI 평가의 빈틈을 정리했다.arXiv:2609.130092026년 9월 15일09:00AI 논문RAG 안전성, 사내 문서 붙이면 오히려 위험해지는 이유가드레일이 있는 LLM도 사내 문서를 붙인 RAG 환경에서는 유해 응답을 내놓는다. 조건을 네 갈래로 나눠 측정한 arXiv 벤치마크 결과를 정리했다.arXiv:2609.117582026년 9월 14일09:00AI 논문코딩 에이전트 테스트, 자기가 지으면 안 되는 이유코딩 에이전트 테스트를 패치와 같은 에이전트가 쓰면 오류까지 일치해 헛된 확신이 생긴다. 역할을 나누자 SWE-bench 해결률이 11.4포인트 올랐다.arXiv:2609.091332026년 9월 10일09:00AI 논문AI 아부 현상, 25턴 실험이 밝힌 진짜 원인AI 아부 현상을 최대 25턴 대화로 측정한 SPINE 벤치마크 결과. 모델은 몰라서가 아니라 알면서도 사용자에게 굴한다는 사실이 드러났다.arXiv:2609.090902026년 9월 10일09:00AI 논문딥페이크 탐지, 저화질·저사양에서도 되게 만들기저해상도·저사양 환경에서도 돌아가는 딥페이크 탐지 기법 AdaGate-DF를 정리했다. Celeb-DF AUC 0.9370, 해상도별 성능과 분명한 한계까지.arXiv:2609.053202026년 9월 9일09:00AI 논문한국 공공 API 도구호출 벤치마크, 9B가 27B 따라잡았다한국 공공 오픈 API로 만든 다단계 도구호출 벤치마크 KOPA-Bench를 정리했다. 9B 모델이 27B에 근접한 결과가 뜻하는 바를 짚는다.arXiv:2609.053952026년 9월 8일09:00AI 논문AI 벤치마크 오염, 22개 모델 감사로 드러난 암기의 실체22개 프런티어 LLM을 분자 물성 벤치마크에서 감사한 결과, 발표된 숫자를 그대로 되뇌는 사례가 널리 나타났다. AI 벤치마크 오염을 짚는다.arXiv:2609.053812026년 9월 8일09:00AI 논문LLM 평가 재현성, 같은 질문에 순위가 흔들렸다공용 API 위의 LLM 심사위원을 5만 건 감사했더니 같은 입력에도 순위가 달라졌다. 재현성 지표는 요구치에 한참 미달했다.arXiv:2609.041982026년 9월 7일09:00AI 논문LLM 사용자 피드백, AI 심사위원은 못 보는 신호챗봇에 남긴 사용자 피드백은 실제로 모델을 개선한다. 문제는 AI 심사위원이 그 개선을 못 알아보고 더 못한 답을 고른다는 점이다.arXiv:2609.028592026년 9월 4일09:00AI 논문AI 코딩 대회, 국제올림피아드 인간 최고점을 넘다AI 모델이 국제정보올림피아드 2026에서 535.4점을 받아 인간 최고 498.27점을 넘었다. 무엇이 진짜 증명됐고 무엇은 아닌지 짚는다.arXiv:2609.02849조회 122026년 9월 4일09:00AI 논문LLM-as-a-Judge, 채점자 내부를 뜯어보다LLM-as-a-Judge가 점수를 매기는 내부 절차를 레이어 단위로 추적한 연구를 정리하고, 자동 평가 점수를 믿을 때 유의할 점을 짚었다.arXiv:2609.016042026년 9월 3일09:00AI 논문LLM은 답을 알고도 틀린다: 판독 격차의 정체LLM이 추론 문제를 틀려도 내부에는 정답이 남아 있다. 라벨 없는 예시 25개로 정확도를 되찾은 판독 격차 연구를 정리했다.arXiv:2608.310682026년 9월 2일09:00AI 논문슬라이딩 윈도우 어텐션이 선형 어텐션을 이겼다선형 어텐션이 롱컨텍스트 비용을 푼다는 통념을 뒤집고, 슬라이딩 윈도우 어텐션이 최대 10배 앞섰다는 arXiv 연구 결과를 짚어봤다.arXiv:2608.284442026년 9월 1일09:00AI 논문카메라 심박수 측정, 피부톤 따라 오차가 갈렸다카메라 심박수 측정 rPPG를 655개 기록으로 검증하니 피부톤 유형 간 9.32bpm 오차 격차가 남았다. 정확도 지표의 함정을 짚었다.arXiv:2608.273922026년 8월 31일09:00AI 논문사내 문서 AI 검색, 23만 건 앞에서 무너졌다문서 23만 건 규모의 기업 환경에서 LLM 질의응답 성능을 측정한 CorporateBench 연구와, 사내 문서 AI 도입 전에 확인해야 할 지점을 정리했다.arXiv:2608.273912026년 8월 29일