#학습기법
학습기법 브리핑
총 34건09:00AI 뉴스·동향시계열 예측 AI, 미스트랄이 가중치까지 공개했다시계열 예측 AI에도 파운데이션 모델 시대가 온다. 미스트랄이 가중치까지 공개한 Timestral의 설계와 실무 함의를 정리했다.arXiv:2610.375852026년 10월 29일09:00AI 논문프롬프트 인젝션 방어, 공격 성공률 97%에서 10%로프롬프트 인젝션 방어는 어디까지 와 있나. 어텐션 헤드에 학습된 게이트를 달아 공격 성공률을 97%에서 10%로 낮춘 HoS 연구를 정리했다.arXiv:2610.376572026년 10월 29일09:00AI 논문소프트맥스 버그, 딥러닝 기본 함수에 숨어 있던 두 오류모든 모델이 쓰는 소프트맥스·교차 엔트로피 표준 구현에 수치 버그 두 개가 있었다. grokking과 Slingshot의 정체.arXiv:2610.31642조회 342026년 10월 26일09:00AI 논문행동 전에 상상하는 AI 에이전트행동의 결과를 이미지로 미리 생성해 보는 에이전트 Agima는 네 상자 소코반에서 40%를 풀었다. 기존 플래너는 2%에 그쳤다.arXiv:2610.268452026년 10월 21일09:00AI 논문이미지 생성 AI, 언어 사전학습 없이도 된다언어 사전학습 없이 처음부터 학습한 Halcyon은 연산량을 275배 줄이고도 기존 모델을 앞섰다. 이미지 생성 AI의 전제를 다시 묻는 연구다.arXiv:2610.268632026년 10월 21일09:00AI 논문AI 파인튜닝 부작용, 행동 결합이라는 숨은 경로친절하게 파인튜닝했더니 아첨꾼이 됐다. 학습 문서에 함께 담긴 행동이 어떻게 의도하지 않은 부작용으로 되살아나는지, 러버덕 실험으로 짚어본다.arXiv:2610.238472026년 10월 20일09:00AI 생산성·활용추천시스템 피처 제거, 파라미터 29.9% 줄였다추천시스템 피처는 넣기 쉽고 빼기 어렵다. FORTE로 피처 43.3%를 제거하고 학습 파라미터 29.9%를 줄인 실제 운영 사례와 한계.arXiv:2610.138062026년 10월 14일09:00AI 논문LLM 답변 거부, 커버리지 늘리고 오답 줄였다LLM에게 모른다고 답하게 가르칠 수 있을까. 답변 선택기로 커버리지는 30.9%로 올리고 오답률은 14.5%로 낮춘 실험과 그 한계.arXiv:2610.138212026년 10월 14일09:00AI 논문AI 옵션 트레이딩, 뉴스를 빼야 수익이 올랐다AI 옵션 트레이딩 에이전트 SOTA가 6개월 수익률 18.3%를 기록했다. 다만 강화학습 단계에 뉴스를 남기면 수익이 마이너스로 뒤집혔다.arXiv:2610.104072026년 10월 10일09:00AI 논문AI 튜터, 잘 푸는 모델이 잘 가르치진 않는다문제를 푸는 능력과 가르치는 능력은 다르다. 학생의 학습 성과를 보상으로 쓴 Sherpa가 교수법 점수를 52.5%에서 79.2%로 올린 방법.arXiv:2610.087782026년 10월 8일09:00AI 논문LLM 윤리, 압박 받으면 자기 판단도 뒤집는다LLM이 스스로 잘못이라고 판단한 행동을 압박 상황에서 5건 중 1건 선택했다. 사후학습 레시피가 이 격차를 가른다는 연구를 정리했다.arXiv:2610.086702026년 10월 8일09:00AI 논문LLM 추론 능력, 강화학습 아닌 첫 단어가 만든다베이스 모델 첫머리에 Okay 한 단어를 붙였더니 수학 정확도가 42%에서 78%로 올랐다. LLM 추론 능력이 어디서 오는지 다시 묻는 연구를 정리했다.arXiv:2610.068512026년 10월 7일09:00AI 논문유방암 AI 예측, 조직 사진으로 유전자 발현을 읽다유방암 AI 예측 연구가 조직 사진에서 유전자 발현을 추론해 항암치료 반응을 맞혔다. AUROC 0.79는 어느 정도인지 짚어봤다.arXiv:2610.036932026년 10월 6일09:00AI 논문체스 AI가 수를 설명한다, 4B 모델 Queen의 역전체스 AI가 자기 수를 설명하기 시작했다. 4B 모델 Queen이 Elo 2697로 프런티어 모델을 앞선 과정과 그 결과를 과장 없이 읽는 법을 정리했다.arXiv:2610.036952026년 10월 6일09:00AI 논문코딩 에이전트 컨텍스트, 언제 압축할지도 학습한다코딩 에이전트가 긴 작업에서 언제 컨텍스트를 압축할지 스스로 배우게 하니 SWE-bench 통과율이 9.2%p 올랐다.arXiv:2610.021632026년 10월 5일09:00AI 논문뇌 신호 해독 AI, 성능은 뇌가 아닌 단서에서 나왔다비침습 뇌 해독의 성능 향상이 뇌 데이터 없이도 재현됐다. 타이밍 단축 경로를 제거해 오히려 성능을 끌어올린 연구를 정리했다.arXiv:2609.403592026년 10월 2일09:00AI 논문AI 생성 텍스트를 학습에 쓰면 모델은 나빠지는가웹 텍스트의 31%가 AI 생성으로 분류됐다. 800개 모델을 학습시켜 AI 데이터가 언제 이득이고 언제 해가 되는지 밝힌 스케일링 법칙.arXiv:2609.402952026년 10월 2일09:00AI 논문AI 자기 회고 학습, 보상 없이 강화학습을 앞선다보상도 검증기도 없이 에이전트가 자기 회고문만으로 나아진다. SWE-bench에서 20번 학습만으로 GRPO를 앞선 ROFT 실험을 한계와 함께 정리했다.arXiv:2609.357412026년 9월 30일09:00AI 논문LLM 사용자 프로파일링, 거절 여부까지 바꿨다LLM은 대화 몇 줄로 사용자를 추정하고, 그 믿음에 따라 거절 여부까지 바꿔다. 모델 내부 상태를 읽고 다시 써넣은 실험 결과다.arXiv:2609.316032026년 9월 29일09:00AI 논문추론 모델 토큰 절감, 확신을 가르쳤더니 25% 줄었다길이 패널티도 조기 종료 장치도 없이 확신도만 가르치자 추론 모델의 생성 토큰이 최대 25% 줄었다. 정확도는 그대로 유지됐다.arXiv:2609.316192026년 9월 29일09:00AI 논문모델 붕괴, 인간 데이터는 얼마나 필요한가합성 데이터로 학습할 때 모델 붕괴를 막으려면 인간 데이터가 얼마나 필요한가. 기존 하한이 고차원에서 무의미해지는 이유를 짚은 연구.arXiv:2609.188782026년 9월 18일09:00AI 논문스케일링 법칙, 아키텍처가 기울기를 바꿨다아키텍처는 스케일링 곡선의 기울기를 못 바꾼다는 통념이 깨졌다. 7.4B 모델이 GPT-3 13B를 약 20배 적은 연산으로 따라잡았다.arXiv:2609.191072026년 9월 18일09:00AI 논문RAG vs 파인튜닝, 문서는 어디에 두어야 할까LLM에 새 지식을 넣는 세 방법을 통제 비교했다. 다중 문서 검색에서 KV 캐시 방식만 ICL 수준을 따라잡았지만, 파국적 망각이라는 대가가 있었다.arXiv:2609.173462026년 9월 17일09:00AI 논문MoE 과적합, 데이터 반복에 밀집 모델보다 취약한 이유MoE 모델은 같은 학습 데이터를 4회만 반복해도 무너지기 시작한다. 밀집 모델과 비교한 arXiv 실험 결과와 실무 시사점을 정리했다.arXiv:2609.119172026년 9월 14일09:00AI 생산성·활용AI 코드 과잉 수정, 지시문 한 줄로 줄어들었다버그 하나 고치라니 파일 절반을 다시 쓰는 AI의 과잉 수정을 정량화한 연구다. 보존 지시문 한 줄로 편집량이 줄고 정확도는 올랐다.arXiv:2609.040612026년 9월 7일09:00AI 논문LLM 양자화, 손상은 특정 레이어에 없다LLM 양자화의 정확도 손상이 특정 레이어에 몰려 있다는 통념을 오픈모델 9개 인과 실험으로 반증한 새 논문을 실무 관점에서 정리했다.arXiv:2609.015872026년 9월 3일09:00AI 논문AI 아첨은 왜 생기나: 정렬 학습이 만든 부작용AI가 사용자 말에 무조건 동의하는 아첨 현상은 데이터를 걸러내도 잘 사라지지 않는다. 선호 최적화 학습이 아첨을 옮긴다는 연구를 정리했다.arXiv:2608.310792026년 9월 2일09:00AI 논문LLM 텍스트 학습의 한계, 논문이 증명했다텍스트만으로는 화자의 의미를 복원할 수 없다는 정보이론적 상한을 증명한 논문이 스케일링 만능론에 던지는 질문을 풀어 정리했다.arXiv:2608.285602026년 9월 1일09:00AI 논문AI 모델 크기 최적화, 작게 시작해 필요할 때만 키운다AI 모델 크기 최적화 기법 SCG는 최소 인코더로 시작해 필요할 때만 키운다. 고정 대형 대비 파라미터 효율 56배 실험 결과를 짚었다.arXiv:2608.273672026년 8월 31일09:00AI 논문의료 AI 설명가능성, 병원 밖에서 무너지는 이유임상 AI는 환자 상태가 아니라 진료기록 서식을 학습해 배포지에서 무너진다. SAE로 잡음 특징을 억제하는 CAST 프레임워크를 살펴본다.arXiv:2608.273972026년 8월 30일09:00AI 논문진화 전략 LLM 학습, GRPO보다 넓게 생각한다진화 전략(ES)이 GRPO보다 넓은 추론 범위를 갖는다는 arXiv 논문. Pass@1과 Pass@K가 갈라지는 이유를 짚었다.arXiv:2608.273512026년 8월 30일09:00AI 논문RLVR 강화학습, 약한 모델이 사고의 폭을 되살린다RLVR 강화학습은 정답률을 올리지만 사고의 폭을 좁힌다. 약한 모델의 문장을 접두사로 물려주자 pass@k가 살아났다는 arXiv 논문.arXiv:2608.274202026년 8월 30일09:00AI 논문코딩 AI 학습 데이터, 10%만 골라 쓰니 더 잘했다성공한 작업 기록도 나쁜 습관을 가르친다. 전체의 10%만 골라 학습해 SWE-Bench 성능을 높인 SWE-Prime 연구를 정리했다.arXiv:2608.274492026년 8월 29일09:00AI 논문RTX 5090 한 대로 2B 모델 학습, 비용은 950만원칭화대 연구팀이 게이밍 GPU RTX 5090으로 2B 언어모델을 6,900달러에 밑바닥부터 학습했다. 비용을 줄인 다섯 가지 선택과, 이 숫자가 실제로 의미하는 범위를 짚어본다.arXiv:2608.273702026년 8월 28일