LLM 아키텍처 정리: RMS놈·RoPE·SwiGLU가 표준이 된 이유와 학습 안정화 기법
국내 대학 LLM 강의가 라마 계열을 기준으로 프리놈과 RMS놈, 회전 위치 임베딩, SwiGLU 같은 현대 트랜스포머 설계가 표준이 된 이유와 하이퍼파라미터 관례, 소프트맥스 학습 안정화 기법까지 차례로 정리했다.
핵심 내용 읽기 →
AI TOPIC
SwiGLU 최신 뉴스와 핵심 해설
SwiGLU 관련 핵심 뉴스와 활용 인사이트 3편을 최신순으로 모았습니다.
활성화 함수 완벽 가이드: 시그모이드에서 ReLU·GELU·SwiGLU까지 딥러닝 60년
퍼셉트론의 계단 함수부터 오늘날 대형 언어 모델을 떠받치는 SwiGLU까지, 트랜스포머 속 활성화 함수 60년의 진화를 정리한다. 시그모이드의 기울기 소실·지그재그 문제, ReLU의 한계, 게이팅 관점의 통합까지 단계별로 설명한다.
핵심 내용 읽기 →
SwiGLU란? 최신 LLM이 GELU·ReLU 대신 쓰는 게이팅 활성화 함수 원리
팜(PaLM)과 라마(Llama) 같은 최신 LLM은 피드포워드 블록에서 GELU·ReLU 대신 SwiGLU를 쓴다. 게이트와 값 경로로 입력을 나눠 특징을 선택적으로 통과시키고, 너비를 8/3로 줄여 같은 연산량으로 더 낮은 손실을 얻는다. 원리와 구현, 함정을 정리했다.
핵심 내용 읽기 →