언어모델 평가 방법 총정리: MMLU·챗봇 아레나·LLM 심판과 멀티모달 모델 기초까지
CMU 고급 자연어처리 강의가 언어모델 평가의 역사와 지표, MMLU의 포화, 사람이 직접 투표하는 챗봇 아레나와 LLM 심판의 장단점, 그리고 ViT·CLIP·LLaVA로 이어지는 멀티모달 기초를 한 번에 짚는다.
핵심 내용 읽기 →
AI TOPIC
MMLU 최신 뉴스와 핵심 해설
MMLU 관련 핵심 뉴스와 활용 인사이트 5편을 최신순으로 모았습니다.
LLM 평가 방법 총정리 — LLM-as-a-Judge, 편향, 벤치마크(MMLU·SWE-bench)
스탠퍼드 CME295 강의를 바탕으로 LLM 평가법을 정리한다. 사람 평가와 규칙 기반 지표의 한계, LLM-as-a-Judge와 편향, MMLU·SWE-bench 등 벤치마크와 데이터 오염 문제를 다룬다.
핵심 내용 읽기 →
LLM 벤치마크 7가지 정리: MMLU·HellaSwag·GSM8K부터 MT-Bench까지
AI 언어모델의 우열을 가리는 데 쓰이는 대표 벤치마크 7가지(MMLU, ARC, HellaSwag, Winogrande, TruthfulQA, GSM8K, MT-Bench)의 측정 방식과 한계를 정리했다.
핵심 내용 읽기 →
LLM 벤치마크 완전 해설: MMLU·GPQA·SWE-Bench와 모델 선택법
MMLU 점수는 최상위 모델들이 89~92%로 거의 같다. 벤치마크의 한계와 데이터 오염, 챗봇 아레나, LLM 심사 방식까지 정리하고 용도에 맞는 모델을 고르는 3단계 방법을 소개한다.
핵심 내용 읽기 →
LLM 벤치마크란? MMLU·GPQA·퓨샷 등 AI 모델 평가 지표 읽고 비교하는 법
새 AI 모델 발표 때 등장하는 MMLU·GPQA·HumanEval 같은 숫자의 의미를 풀이한다. 각 벤치마크가 무엇을 측정하는지, 퓨샷이 무엇인지, 점수를 어떻게 비교하고 직접 돌려보는지까지 차근차근 정리했다.
핵심 내용 읽기 →