AI TOPIC

LLM 최신 뉴스와 핵심 해설

LLM 관련 핵심 뉴스와 활용 인사이트 632편을 최신순으로 모았습니다.

GPT-2를 직접 학습시켜 본 기록: 손실 계산부터 온도·top-k 샘플링, 체크포인트까지 영상 썸네일
AI·ML·Quant 스터디

LLM 사전 학습 실습 정리 — 크로스 엔트로피와 퍼플렉서티, 온도·top-k 샘플링, 체크포인트 저장

라벨 없는 텍스트로 GPT-2를 직접 학습시킨 스터디 기록. 크로스 엔트로피와 퍼플렉서티로 모델을 평가하고, 훈련·검증 손실을 함께 그려 과적합 시점을 잡고, 온도와 top-k로 생성 문장을 조절한 뒤 체크포인트까지 저장하는 과정을 정리했다.

핵심 내용 읽기 →
ChatGPT가 쓰는 디코더 온리 트랜스포머, 단어가 답이 되기까지 영상 썸네일
StatQuest with Josh Starmer

디코더 온리 트랜스포머 완전 해설: 워드 임베딩부터 마스크드 셀프 어텐션까지 ChatGPT 구조 파헤치기

ChatGPT가 사용하는 디코더 온리 트랜스포머의 동작을 워드 임베딩, 위치 인코딩, 마스크드 셀프 어텐션, 잔차 연결 순서로 차근히 따라가고, 인코더와 디코더를 나누는 일반 트랜스포머와 구조가 어떻게 다른지까지 한국어로 정리했습니다.

핵심 내용 읽기 →
"직업의 나열은 단어의 나열이다" — 스탠퍼드 연구팀이 LLM으로 다음 직업을 예측한 방법 영상 썸네일
Stanford Graduate School of Business

LLM으로 다음 직업 예측하기: 스탠퍼드 GSB 수전 애시가 40년 경력 데이터를 이력서로 바꿔 파인튜닝한 연구

스탠퍼드 GSB 수전 애시 교수팀이 40년간 쌓인 노동자 경력 설문을 이력서 형태의 글로 바꿔 오픈소스 LLM을 파인튜닝했다. 다음 직업 예측에서 기존 어떤 모델보다 정확했고, 같은 방식을 고객 여정과 의료에도 적용할 수 있다.

핵심 내용 읽기 →
패턴 예측이 지능이 되기까지, LLM은 어떻게 세상을 장악했나 영상 썸네일
Art of the Problem

LLM 역사 정리: 성냥갑 강화학습부터 퍼셉트론과 이미지넷을 지나 GPT까지, 패턴 예측이 지능이 된 과정

성냥갑과 구슬로 만든 1960년대 학습 기계부터 퍼셉트론과 이미지넷, 그리고 GPT와 챗GPT까지. 패턴을 예측하는 단순한 능력 하나가 어떻게 오늘날의 인공지능으로 이어졌는지, 자연이 발명한 세 층의 학습을 따라 한 편의 흐름으로 정리했습니다.

핵심 내용 읽기 →