Ollama 양자화 설정법 정리 — 기본값 Q4_K_M 바꾸기와 허깅페이스 GGUF 모델 직접 등록하기
Ollama는 사용자가 고르지 않아도 Q4_K_M 양자화를 자동으로 적용한다. VRAM 여유에 맞춰 양자화 타입을 바꾸는 방법과, 목록에 없는 타입을 허깅페이스 GGUF 모델로 직접 등록해 쓰는 절차를 정리했다.
핵심 내용 읽기 →
AI TOPIC
VRAM 최신 뉴스와 핵심 해설
VRAM 관련 핵심 뉴스와 활용 인사이트 5편을 최신순으로 모았습니다.
Ollama 추론 속도 2배 올리는 환경 변수 4가지: 병렬 처리·플래시 어텐션·KV 캐시 양자화·모델 유지 설정법
올라마를 기본 설정 그대로 쓰면 손해다. 병렬 처리, 플래시 어텐션, KV 캐시 양자화, 모델 메모리 유지 시간까지 환경 변수 네 개를 상황에 맞게 조정해 로컬 LLM 추론 속도를 끌어올리는 방법과 각각의 주의점을 정리했다.
핵심 내용 읽기 →
로컬 AI 노트북 실험: VRAM 16GB와 24GB가 가르는 실행 가능한 모델의 경계
같은 사양에 그래픽 메모리 용량만 16GB와 24GB로 다른 노트북 두 대로 로컬 AI 모델을 돌려 비교한 결과, 생성 속도보다 VRAM이 어떤 모델을 아예 실행할 수 있는지를 가른다는 사실이 분명하게 드러났습니다.
핵심 내용 읽기 →
로컬 LLM용 VRAM 확보 비교 - 듀얼 GPU 카드로 192GB를 7천 달러에 채우기
인텔 저가 GPU와 듀얼 GPU 카드로 로컬 LLM용 VRAM을 늘리는 실측 비교. 속도 손실 없이 192GB를 7천 달러에 채우는 조건과 메인보드 슬롯 분기 설정의 함정, 소프트웨어 성숙도 문제를 정리했다.
핵심 내용 읽기 →
로컬 AI 코딩 가이드 2026: VRAM·모델 선택·맥락 창으로 이해하기
클라우드 API 없이 내 하드웨어에서 AI 코딩 어시스턴트를 돌리는 법. LM Studio, VRAM과 맥락 창의 한계, Continue·Kilo Code·Claude Code 연결까지 실전 기준으로 정리했다.
핵심 내용 읽기 →