RAG 검색 증강 생성 쉽게 이해하기: LLM 환각 줄이는 6단계 파이프라인

핵심 메시지

• LLM은 학습한 패턴은 잘 재현하지만 사용자 고유의 데이터·맥락은 모르기 때문에, 구체적인 질문에 자신 있게 틀린 답을 하거나 환각을 일으킨다.
• 맥락 부족 문제를 푸는 두 방법은 파인튜닝과 RAG이며, 파인튜닝은 강력하지만 GPU 비용이 크고 데이터가 바뀔 때마다 재학습해야 한다.
• RAG는 기반 모델을 건드리지 않고 질의 시점에 필요한 정보만 찾아 넣어주는 방식이라 저렴하고 즉시 최신 상태를 유지한다.
• RAG 파이프라인은 데이터 수집 → 청킹 → 임베딩 → 벡터 저장 → 검색 → 합성의 6단계로 이뤄진다.
• 합성 단계에서 '제공된 맥락만 사용하라'는 가드레일 프롬프트를 주어 환각을 억제한다.

쉽게 이해하기

영상은 ChatGPT·Claude·Gemini 같은 LLM이 IPL 2025 우승팀, 지난주 내가 쓴 코드, 방금 업로드한 스프레드시트처럼 구체적인 질문을 받으면 자신 있게 틀린 답을 하거나 아예 존재하지 않는 답을 지어내는 문제에서 출발한다. 이유는 단순하다. LLM은 학습한 내용을 재현하는 패턴 매칭 머신이라 사용자의 데이터와 맥락을 모르며, 이 한계는 환각이 위험한 법률·의료·컴플라이언스 분야에서 특히 치명적이다.

이 맥락 문제를 푸는 방법으로 영상은 두 가지를 제시한다. 첫째는 파인튜닝으로, 기반 모델을 자신의 이메일·코드·대화·이미지 같은 데이터로 다시 학습시켜 특정 도메인에 특화시키는 방식이다. 일단 학습되면 매번 맥락을 떠먹여 줄 필요가 없다는 장점이 있지만, GPU 비용이 비싸고 데이터가 바뀌면 처음부터 다시 학습해야 하며 거대한 모델 체크포인트의 버전 관리가 번거롭다는 단점이 있다.

둘째가 RAG(Retrieval-Augmented Generation, 검색 증강 생성)다. 기반 모델은 그대로 두고 그 주위에 '연구 보조원' 같은 컨텍스트 엔진을 두어, 질의가 들어오는 순간 필요한 정보 조각을 모델에 건네준다. 영상은 이를 주문이 들어오면 정확한 레시피를 즉시 건네받는 셰프에 비유한다. 그 결과 재학습이 필요 없고, 문서를 추가·재임베딩하면 즉시 똑똑해지며, 인프라 비용이 저렴하고 항상 최신 정보를 유지한다는 장점이 있다.

RAG의 동작 원리는 '초정밀 도서관' 비유로 6단계에 걸쳐 설명된다. (1) 데이터 수집은 PDF·이메일·CSV·코드베이스 같은 원자료가 도서관에 도착하는 단계다. (2) 청킹은 문서를 한 단락 정도의 작은 색인 카드로 쪼개 검색을 빠르고 정밀하게 만드는 단계로, LangChain의 text splitter나 LlamaIndex를 쓴다. (3) 임베딩은 각 조각에 의미의 'GPS 좌표'를 부여해 비슷한 의미끼리 가까이 배치하는 단계로, Google의 text embedding API나 OpenAI의 text embedding 3를 예로 든다.

이어 (4) 벡터 저장은 좌표가 매겨진 카드를 Pinecone·Chroma·Qdrant 같은 고성능 벡터 데이터베이스에 넣어 수백만 건도 밀리초 단위로 의미 검색하게 하는 단계다. (5) 검색은 사용자의 질문도 똑같이 벡터로 바꿔 유사도 검색으로 가장 가까운 상위 5~6개 카드를 찾는다. (6) 합성에서 LLM은 선택된 조각과 원래 질문, 그리고 '맥락에 없으면 모른다고 하라'는 가드레일 프롬프트를 받아 정확한 답을 만든다. 영상은 마지막에 n8n과 Google Drive(GCP)·OpenAI 임베딩·Pinecone·Google API를 연결해 만든 실제 RAG 챗봇 'Ragbot'도 소개한다.

주요 인사이트

• RAG의 핵심 이점은 재학습 없이 문서를 추가하고 다시 임베딩하기만 하면 시스템이 즉시 똑똑해지고 항상 최신 상태를 유지한다는 점이다.
• 청킹으로 문서를 작은 조각으로 나누면 AI가 300쪽을 일일이 넘기지 않고도 필요한 정보를 정밀하게 검색할 수 있다.
• 임베딩은 의미가 비슷한 텍스트를 다차원 공간의 가까운 위치에 배치하기 때문에, 단어 표면이 아니라 의미를 기준으로 한 검색이 가능해진다.
• 합성 단계의 가드레일 프롬프트('제공된 맥락만 사용하고 없으면 없다고 답하라')가 환각을 막는 실질적인 장치로 작동한다.
• 영상 제작자는 n8n 같은 노코드 도구로 Google Drive·OpenAI·Pinecone·Google API를 연결해, 문서를 드라이브에 끌어다 놓기만 하면 실시간으로 갱신되는 RAG 챗봇을 만들었다고 소개한다.

자주 묻는 질문

관련 AI 소식