NVFP4 4비트 LLM 사전학습: 무편향 양자화와 Quartet 2가 오차를 줄인 방법
16비트에서 4비트로 내려가면 행렬 곱 처리량은 네 배가 되지만 양자화 오차가 학습을 망친다. GPU MODE 강연에서 연구진이 무작위 회전으로 무편향 그래디언트를 얻어낸 NVFP4 학습 기법과 커널 구현을 공개했다.
핵심 내용 읽기 →
AI TOPIC
NVFP4 최신 뉴스와 핵심 해설
NVFP4 관련 핵심 뉴스와 활용 인사이트 3편을 최신순으로 모았습니다.
NVFP4 강화학습 레시피 정리: 4비트 양자화 안정성 확보와 그래디언트 스파이크 해결법
사전학습용 4비트 양자화 레시피는 강화학습에서 그대로 통하지 않는다. 토큰 단위 스케일링과 블록별 적응형 인코딩, 역전파 처리 방식 선택으로 그래디언트 붕괴를 막아 낸 실전 사례를 단계별로 정리했다.
핵심 내용 읽기 →
DGX 스테이션 GB300 실측: 748GB 통합 메모리로 로컬 AI 에이전트 128개 동시 실행
1년 전만 해도 데이터센터에 있던 GB300이 책상 위 워크스테이션이 됐다. 748GB 통합 메모리와 NVFP4 양자화로 대형 모델을 로컬에서 돌리고 에이전트 128개를 동시에 실행한 실측 결과를 정리했다.
핵심 내용 읽기 →