AMUSE 논문 리뷰: 샤프니스와 리버 밸리 관점으로 본 Muon·스케줄 프리 옵티마이저
KAIST 연구실에서 나온 옵티마이저 논문 AMUSE를 소개하는 발표를 정리했다. 샤프니스와 엣지 오브 스태빌리티, 도미넌트·벌크 부분공간, 리버 밸리 손실 지형이라는 관점으로 Muon과 스케줄 프리 방식의 강점을 차례로 설명한다.
핵심 내용 읽기 →
AI TOPIC
Muon 최신 뉴스와 핵심 해설
Muon 관련 핵심 뉴스와 활용 인사이트 3편을 최신순으로 모았습니다.
Adam과 Muon의 차이를 만드는 것은 기하다: 딥러닝 옵티마이저 이론을 정리한 TTIC 연구 발표
TTIC 연구 발표에서 즈위안 리 교수가 Adam이 SGD보다 빠른 이유를 좌표축에 묶인 기하로 설명하고, 스펙트럴 노름을 쓰는 Muon과 적응형 매끄러움 개념까지 딥러닝 최적화 이론의 최신 지형을 정리했다.
핵심 내용 읽기 →
Muon 옵티마이저 완전 정리: Adam을 넘어서는 행렬 기반 학습법과 대규모 모델 확장·안정화 기법
10년간 딥러닝 학습을 지배한 Adam의 한계를 짚고, 가중치 행렬의 구조를 직접 활용해 업데이트를 직교화하는 새 옵티마이저 Muon의 원리와 대규모 모델에서의 연산 효율·QK-clip 안정화 기법까지 정리했다.
핵심 내용 읽기 →