PPO 강화학습 강의 정리 – 정책 경사, 어드밴티지, 중요도 샘플링과 클리핑까지 단계별 해설
AI 안전 교육 과정 ARENA의 PPO 강의를 정리했다. 바닐라 정책 경사에서 출발해 리워드 투 고, 어드밴티지와 크리틱, 적격 흔적, 중요도 샘플링과 비율 클리핑, 엔트로피 보너스까지 각 항이 왜 필요한지 짚는다.
핵심 내용 읽기 →
AI TOPIC
RLHF 최신 뉴스와 핵심 해설
RLHF 관련 핵심 뉴스와 활용 인사이트 42편을 최신순으로 모았습니다.
RLHF 강의 정리: 보상모델 학습과 KL 페널티, 보상 해킹 사례와 LoRA 미세조정까지
AI 안전 교육 과정 ARENA의 RLHF 강의를 정리했다. 사람의 선호로 보상모델을 만드는 방식과 KL 페널티의 역할, 보상 해킹이 실제로 벌어지는 과정, LoRA로 학습 비용을 줄이는 실전 기법을 다룬다.
핵심 내용 읽기 →
LLM 탈옥 공격과 정렬 방어 정리 — GCG부터 분해 공격까지, 안전과 유용성의 트레이드오프
대학·기업 연구자들이 진행한 LLM 정렬 튜토리얼을 정리했다. GCG 같은 토큰 수준 공격부터 추론을 쓰는 프롬프트 공격과 분해 공격까지, 그리고 스무딩·보상모델·베스트 오브 N 같은 방어의 한계를 짚는다.
핵심 내용 읽기 →
LLM 강화학습 RLHF 정리: KL 제약의 기원부터 개인화 보상 모델과 다원적 정렬 연구까지
딥시크 R1 이후 다시 주목받은 LLM 강화학습의 계보를 정리한다. 2016년 음악 생성 연구에서 출발한 KL 제약, 단일 보상 함수를 가정하는 RLHF의 구조적 한계, 그리고 사용자별 선호를 반영하는 개인화 보상 모델 연구까지 짚는다.
핵심 내용 읽기 →
다목적 RLHF 연구 정리: 보상 모델을 쪼개고 집단별 선호 충돌까지 다루는 정렬 기법
대학 연구 세미나에서 발표된 다목적·다집단 RLHF 연구를 정리했다. 보상 모델을 유용성과 무해성으로 나누는 이유, 가중치를 역으로 추정하는 방법, 선형 합산의 한계와 집단 간 선호 충돌 해법을 짚는다.
핵심 내용 읽기 →
LLM 파인튜닝 총정리: RLHF 보상 모델부터 LoRA·DoRA, 인컨텍스트 러닝과 하네스 엔지니어링까지
정답이 하나뿐이라고 가정하는 지도 미세조정의 한계에서 출발해, 사람의 선호로 보상 모델을 만드는 RLHF와 LoRA 계열 경량 파인튜닝, 그리고 인컨텍스트 러닝에서 하네스 엔지니어링으로 이어지는 흐름까지 대학원 LLM 강의 내용을 정리했다.
핵심 내용 읽기 →
DPO 완전 해설: 보상 모델과 강화학습 루프 없이 언어모델을 정렬하는 손실 함수 유도 원리
ChatGPT를 길들인 RLHF는 보상 모델 학습과 강화학습 루프가 필요했다. DPO는 이 두 단계를 지우고 선호 쌍 분류 손실 하나로 같은 정렬을 얻는데, 그 수식이 나오기까지의 유도 과정을 단계별로 짚어본다.
핵심 내용 읽기 →
RLHF 강의 정리: SFT의 한계부터 REINFORCE, PPO, 보상 모델, DPO까지 한 번에
인하대 LLM 강의 13강 정리. 지도 미세조정만으로 부족한 이유부터 REINFORCE와 베이스라인, PPO의 클리핑, 보상 모델과 KL 페널티, 그리고 모델 넷을 둘로 줄인 DPO까지 흐름을 따라간다.
핵심 내용 읽기 →
RLHF vs DPO 논문 리뷰 — 온라인 방식이 더 나은 이유는 생성보다 검증이 쉽기 때문
언어 모델 선호 파인튜닝에서 이론상 같은 곳에 도달해야 할 RLHF와 DPO가 실제 결과에서는 성능 차이를 낸다. 후보 가설 여섯 개를 하나씩 실험으로 걸러낸 끝에 남은 답은 생성보다 검증이 쉽다는 난이도 차이였다.
핵심 내용 읽기 →
PPO 클리핑 원리 쉽게 이해하기: 강화학습에서 큰 정책 업데이트가 위험한 이유와 해법
지도학습과 달리 강화학습은 정책이 자기 학습 데이터를 직접 모은다. 한 번의 과도한 업데이트가 왜 학습 전체를 무너뜨리는지, PPO가 확률 비율 클리핑과 최소값 연산으로 이를 막는 원리를 정리했다.
핵심 내용 읽기 →
보상 모델과 Best-of-N 완전 정리: CMU 강의로 보는 LLM 선호 학습의 원리와 함정
CMU 고급 NLP 강의가 다룬 Best-of-N과 보상 모델의 원리를 정리했습니다. 기각 표집과의 관계, 생성형 보상 모델의 비일관성, 길이 편향 같은 실제 함정, 그리고 선호 데이터를 지금 누가 만드는지까지 다룹니다.
핵심 내용 읽기 →
LLM 포스트트레이닝 3단계 정리: 지시 튜닝, 선호 튜닝, 강화 파인튜닝의 역할과 한계
네이선 램버트가 정리한 언어모델 포스트트레이닝의 현재. 성능 향상의 대부분은 여전히 지시 튜닝에서 나오고, 그 위에 선호 튜닝과 검증 가능한 보상을 쓰는 강화 파인튜닝이 얹히는 3단계 구조를 실험 수치와 함께 설명한다.
핵심 내용 읽기 →
AI 정렬의 한계: 사전학습·사후학습·배포 3단계와 일반화가 불러오는 오정렬 위험
호주 AI 안전 포럼 강연에서 연구자가 현행 정렬 기법의 구조를 해부했다. 세 단계 학습이 모두 데이터로부터의 일반화에 기대고 있어, 모델이 무엇을 배웠는지 사후에 확인할 방법이 없다는 점이 핵심 문제로 지목됐다.
핵심 내용 읽기 →
LLM 강화학습 총정리: RLHF, RLAIF, RLVR 세 가지 방식과 AI 에이전트 시대를 연 검증 가능한 보상
강화학습이 대규모 언어 모델 학습에 쓰이는 세 가지 방식인 RLHF, RLAIF, RLVR의 원리와 차이를 비교하고, 코드로 정답을 검증하는 보상이 딥리서치와 코딩 에이전트의 문을 어떻게 열었는지 정리했다.
핵심 내용 읽기 →
강화학습 르네상스: RLHF에서 검증 가능한 보상(RLVR)으로, 추론 모델 학습이 바뀐 이유
추론 모델 붐 뒤에는 어떤 흐름이 있었나. RLHF가 남긴 인프라와 검증 가능한 보상 학습의 부상, PPO에서 GRPO로 바꿔 얻은 개선, 그리고 사후학습 연산 비중이 사전학습과 대등해질 가능성까지 정리한 강연이다.
핵심 내용 읽기 →
PPO 알고리즘 원리: LLM 정렬과 추론 모델을 만드는 강화학습을 직관으로 이해하기
PPO는 LLM을 사람의 선호에 맞추고 평범한 모델을 추론 모델로 바꾸는 강화학습 알고리즘이다. 가치 함수와 어드밴티지, 편향-분산 트레이드오프, 클리핑까지 원논문의 빽빽한 수식을 직관으로 풀어낸 해설을 정리했다.
핵심 내용 읽기 →
챗GPT 고블린 반복 현상의 원인 정리: 강화학습 보상과 SFT가 만든 말버릇 전염
맥락과 무관하게 '고블린'을 반복하던 챗GPT의 말버릇은 어디서 왔을까. 평가자가 비유에 높은 점수를 준 강화학습과, 이용자 대화를 다시 학습에 넣는 구조가 원인이었다는 오픈AI의 공식 해명을 정리했다.
핵심 내용 읽기 →
선호 기반 강화학습 PbRL 정리 — SeqRank, LiRE, CPL로 보는 사람 피드백 학습법
복잡한 보상 함수 설계 없이 사람의 비교 판단만으로 에이전트를 학습시키는 선호 기반 강화학습을 정리했다. 질의를 순차적으로 뽑아 피드백 효율을 올리는 두 방법과, 보상 함수 자체를 없애는 방법을 살펴본다.
핵심 내용 읽기 →
DPO 정리: 브래들리-테리 선호 모델에서 로그 확률 계산까지, 강화학습 없이 LLM을 정렬하는 방법
보상 모델을 따로 훈련하지 않고도 언어모델을 사람의 선호에 맞추는 DPO. 브래들리-테리 선호 모델에서 손실 함수가 유도되는 과정과 계산 불가능한 항이 사라지는 원리, 실제 로그 확률 계산 방법까지 단계별로 풀어 정리했습니다.
핵심 내용 읽기 →
RLHF 다음 단계는 자동화: GPT-4 공저자가 짚은 AI 비서 시대의 구조적 한계
AI가 어떤 과제에서는 인간을 넘어서고 어떤 과제에서는 여전히 사람 손을 필요로 하는 이유를 GPT-4 공저자가 RLHF의 설계에서 찾았다. 사람의 선호를 최적화한 모델은 비서로는 탁월하지만 자동화에는 맞지 않는다는 진단이다.
핵심 내용 읽기 →
RLAIF vs RLHF 논문 정리: AI 피드백으로 언어모델을 정렬하는 방법과 실험 결과
사람의 선호도 라벨이 비싸고 느리다는 RLHF의 약점을 AI 피드백으로 대체한 RLAIF 논문을 정리했다. 요약과 대화 생성 과제에서 사람 수준의 선호도가 나온 이유, 보상 모델을 없앤 d-RLAIF, 위치 편향 같은 한계를 함께 살펴본다.
핵심 내용 읽기 →
스탠퍼드 CS224N 강의로 배우는 프롬프팅·명령 튜닝·RLHF와 챗봇 학습 원리
스탠퍼드 CS224N 강의가 ChatGPT 같은 챗봇의 훈련을 세 단계로 설명한다. 제로샷·퓨샷과 사고 사슬 프롬프팅, 명령 파인튜닝, 그리고 인간 피드백 기반 강화학습(RLHF)과 보상 모델까지 정리했다.
핵심 내용 읽기 →
RLHF와 DPO 쉽게 이해하기: 사람 피드백으로 LLM을 정렬하는 두 방법
InstructGPT의 3단계 학습에서 출발해, 사람의 선호로 LLM을 정렬하는 RLHF와 이를 지도학습으로 단순화한 DPO를 직관적으로 설명한다. 보상 모델·PPO의 역할과 RLHF의 한계, 유튜브 제목 취향을 DPO로 학습시킨 실제 예까지 다룬다.
핵심 내용 읽기 →
RLHF·DPO·KTO 비교: 언어모델을 인간 선호에 정렬하는 세 가지 최적화 기법의 원리와 장단점
사전학습과 지도 미세조정을 거친 모델을 인간 선호에 맞게 다듬는 방법으로 RLHF, DPO, KTO가 있다. Mark Hennings 영상은 세 기법의 동기와 데이터 형식, 장단점을 높은 수준에서 비교해 설명한다.
핵심 내용 읽기 →
RLHF 완전 해설: 인간 피드백 강화학습이 ChatGPT를 만든 3단계 과정
허깅페이스 강연이 인간 피드백 강화학습(RLHF)을 처음부터 설명한다. 언어모델 사전학습, 보상모델 학습, PPO 기반 강화학습 미세조정의 3단계를 정리한다.
핵심 내용 읽기 →
RLHF와 PPO 원리: 보상 모델·어드밴티지·PPO 손실까지 단계별 유도
ChatGPT를 만든 정렬 기법 RLHF를 수식으로 풀어본다. 언어 모델을 정책으로 보는 관점부터 선호 데이터로 학습하는 보상 모델, 정책 경사, 어드밴티지, 그리고 PPO 손실까지 단계별로 짚는다.
핵심 내용 읽기 →
RLHF란 무엇인가: 지도 파인튜닝·보상 모델·PPO로 이어지는 3단계 정렬 과정
세바스티안 라시카가 4분 만에 정리한 RLHF. 사람이 쓴 응답으로 지도 파인튜닝을 하고, 순위 데이터로 보상 모델을 학습한 뒤 PPO로 모델을 정렬하는 3단계를 설명한다.
핵심 내용 읽기 →
LLM(거대언어모델)이란? 다음 토큰 예측 원리와 3단계 학습, 다섯 가지 한계까지 쉽게 정리
ChatGPT·클로드·제미나이·코파일럿을 움직이는 거대언어모델(LLM)의 정의와 다음 토큰 예측 원리, 사전학습·지시조정·RLHF의 3단계 학습, 환각·지식 컷오프 등 다섯 가지 한계를 쉽게 정리했습니다.
핵심 내용 읽기 →
RLHF 쉽게 이해하기: 인간 피드백 강화학습과 ChatGPT 학습 원리
강화학습에 사람의 피드백을 더하는 RLHF의 개념을 격자 세계 예시로 풀고, ChatGPT가 보상 모델과 PPO로 어떻게 미세조정되는지 단계별로 정리했습니다.
핵심 내용 읽기 →
AI 정렬과 확장 가능한 감독: 샌드위칭으로 초인간 AI 감독을 미리 검증하기
AI가 모든 분야에서 인간을 능가하면 인간은 어떻게 감독할까. RLHF의 한계, 토론·재귀적 요약 같은 감독 기법, 그리고 이를 미리 검증하는 '샌드위칭' 실험을 정리했다.
핵심 내용 읽기 →
RLHF란? ChatGPT 정렬의 핵심 인간 피드백 강화학습과 RLAIF 정리
ChatGPT가 사람처럼 답하게 만든 핵심 기법 RLHF(인간 피드백 기반 강화학습)의 단계별 원리와, 사람 대신 AI가 피드백을 주는 앤트로픽의 대안 RLAIF까지 자막에 담긴 내용을 정리했습니다.
핵심 내용 읽기 →
ChatGPT 학습 원리 3단계: 사전학습·지도 미세조정·RLHF 쉽게 이해하기
대규모 언어모델 ChatGPT가 인터넷 데이터 사전학습, 지도 미세조정(SFT), 인간 피드백 강화학습(RLHF)의 3단계로 완성되는 과정을 예시와 함께 풀어 설명합니다.
핵심 내용 읽기 →
LLM 파인튜닝 입문 — 사전학습 차이, 지도학습·RLHF, LoRA와 QLoRA까지
파인튜닝이 사전학습·프롬프트 엔지니어링·RAG와 어떻게 다른지, 지도·반지도·RLHF 같은 방법론과 파라미터 효율적 파인튜닝(LoRA·QLoRA)의 개념을 입문자 눈높이로 정리했습니다.
핵심 내용 읽기 →
AI 정렬(alignment)이란: 종이클립 최대화·RLHF·헌법적 AI로 본 AI 안전 문제
AI의 진짜 위험은 반란이 아니라 '이해 없는 복종'이다. AI 정렬 문제의 의미와 종이클립 최대화 사고실험, RLHF·헌법적 AI 등 해결 접근법과 정치적 난제를 정리한다.
핵심 내용 읽기 →
RLHF란? 인간 피드백 강화학습으로 LLM을 미세조정하는 원리
사람이 답변에 순위를 매기고, 그 점수를 강화학습으로 학습시켜 언어모델을 다듬는 RLHF. 가치 신경망과 정책 신경망이 무엇을 흉내 내는지 그리드 게임 비유로 풀어본다.
핵심 내용 읽기 →
LLM 파인튜닝 방법론 총정리: 사전학습 vs 사후학습, PEFT, 강화 파인튜닝
파인튜닝이 무엇이고 언제 가능한지, LoRA·QLoRA 같은 PEFT와 RLHF·DPO 등 강화 파인튜닝까지 LLM 파인튜닝 방법론을 한 번에 정리한다.
핵심 내용 읽기 →
DPO 직접 선호 최적화란 — 보상 모델·강화학습 없이 사람 선호로 LLM 미세조정하기
RLHF는 강력하지만 보상 모델 학습과 강화학습이 비싸고 불안정하다. DPO는 보상 모델을 건너뛰고 간단한 교차 엔트로피 손실로 선호 데이터에서 바로 미세조정하는 방법으로, RLHF와 수학적으로 동등하다.
핵심 내용 읽기 →
RLHF(인간 피드백 강화학습) 쉽게 이해하기: AI를 인간 가치에 맞추는 법
대규모 언어 모델을 인간의 선호와 가치에 맞추는 기술 RLHF를, 강화학습의 기본 개념과 4단계 학습 과정, 그리고 비용·편향 같은 한계까지 정리한다.
핵심 내용 읽기 →
RLHF 쉽게 설명: 사전학습·지도 미세조정·보상모델로 LLM을 정렬하는 원리
챗GPT 같은 거대 언어모델을 사람이 원하는 방식으로 정렬하는 RLHF의 원리를, 사전학습과 지도 미세조정의 맥락부터 보상모델과 손실함수까지 단계별로 풀어 설명한다.
핵심 내용 읽기 →
LLM은 어떻게 만들어지나: 데이터·토큰화·학습·평가까지 5단계로 정리
GPT·Gemini·Claude 같은 대규모 언어모델을 만드는 5단계를 정리한다. 데이터 큐레이션과 토큰화부터 트랜스포머 아키텍처, 대규모 학습, 그리고 평가까지 핵심 과정과 비용·기술을 쉽게 설명한다.
핵심 내용 읽기 →
스탠퍼드 CS229로 배우는 LLM 구축: 데이터·스케일링·정렬 핵심 정리
스탠퍼드 CS229 강의로 보는 대규모 언어모델 구축의 전 과정. 사전학습과 토큰화, 평가와 스케일링 법칙, 학습 비용, 그리고 SFT·RLHF·DPO 정렬까지 핵심을 정리했다.
핵심 내용 읽기 →
LLM이란? '확률적 앵무새' 비유로 쉽게 이해하는 거대 언어 모델 원리
LLM은 의미를 이해할까? '확률적 앵무새' 비유로 언어 모델과 거대 언어 모델의 작동 원리, 신경망, RLHF, 그 한계까지 쉽게 풀어 정리했다.
핵심 내용 읽기 →