RAG(검색 증강 생성)란? 작동 원리부터 벡터·하이브리드·그래프 RAG까지 정리

핵심 메시지

• RAG는 LLM이 학습하지 않은 사내 문서 같은 외부 지식을 참고해 답하도록 만드는 기법이다.
• 핵심은 색인(indexing)과 검색(retrieval) 두 단계로, 문서를 청크로 나눠 임베딩해 벡터 DB에 저장하고 질문과 의미가 가까운 청크만 골라 LLM 프롬프트에 넣는다.
• RAG의 두 가지 이점은 근거에 기반한 답으로 환각을 줄이는 정확도 향상과, 관련 청크만 보내 토큰을 아끼는 비용 절감이다.
• RAG에는 벡터 RAG(naive·하이브리드)와 벡터리스 RAG(키워드·그래프·SQL·페이지 인덱스) 등 여러 종류가 있어 상황에 맞게 골라야 한다.

쉽게 이해하기

RAG(Retrieval Augmented Generation, 검색 증강 생성)는 생성형 AI 엔지니어 채용 공고에 빠지지 않고 등장하는 핵심 기술이다. ChatGPT 같은 LLM은 일반 인터넷 지식으로 학습돼 특정 회사의 HR 정책 같은 비공개 문서는 알지 못한다. 영상은 이를 마이크로바이올로지 오픈북 시험을 치르는 학생에 비유한다. 학생의 읽기·이해 능력은 LLM이고, 시험장에 주어진 책은 외부 지식 문서에 해당한다.

RAG는 두 단계로 작동한다. 먼저 색인 단계에서는 긴 문서를 고정 크기 등으로 청크(chunk)로 나누고, 임베딩 모델로 각 청크를 의미를 담은 벡터로 변환해 벡터 데이터베이스에 저장한다. 다음 검색 단계에서는 질문을 같은 임베딩 모델로 변환해 의미가 가까운 상위 K개 청크를 시맨틱 검색으로 찾고, 그 텍스트를 질문과 함께 프롬프트에 넣어 LLM이 답하게 한다.

RAG의 이점은 두 가지다. 첫째, 답을 진실의 원천인 지식에 근거하게 만들어 환각을 줄이고 정확도를 높인다. 둘째, 전체 문서를 다 넣는 대신 관련 청크만 보내므로 토큰 사용량과 API 비용을 아낄 수 있다. 컨텍스트 윈도우가 아무리 커도 전체 지식을 통째로 넣는 것은 비싸기 때문에 관련 부분만 추리는 것이 핵심이다.

RAG는 크게 벡터 RAG와 벡터리스 RAG로 나뉜다. 벡터 RAG에는 상위 K개 청크를 그대로 가져오는 naive RAG와, 벡터 검색과 키워드 검색을 병렬로 돌려 합치는 하이브리드 RAG가 있으며 하이브리드가 대부분의 프로덕션에 적합하다. 벡터리스 RAG에는 BM25·TF-IDF로 정확한 키워드를 찾는 키워드 RAG, 지식 그래프를 탐색하는 그래프 RAG(KG RAG), 자연어를 SQL로 바꾸는 SQL RAG, 그리고 임베딩 없이 문서의 목차·구조를 LLM이 추론해 탐색하는 페이지 인덱스(추론 기반 RAG)가 있다.

영상은 텔레콤 고객지원 챗봇이라는 실전 예시도 보여 준다. 문제 해결 PDF, FAQ가 담긴 CSV, 과거 티켓이 담긴 SQLite를 Chroma DB에 적재하고, 청크 크기 600·오버랩 100과 재귀적 문자 분할 전략, Hugging Face 임베딩 모델, LangChain 프레임워크를 사용한다. 어떤 RAG를 언제 쓸지는 복잡도와 용도에 따라 달라지므로, 단순 Q&A 봇에는 naive RAG, 계층적 트리 탐색이 필요하면 페이지 인덱스를 쓰는 식으로 선택하면 된다.

주요 인사이트

• 컨텍스트 윈도우가 커도 전체 지식을 다 넣으면 토큰 비용이 커지므로, 관련 청크만 추려 넣는 것이 RAG의 핵심이다.
• 일반 데이터베이스는 정확한 값으로 검색하지만 벡터 데이터베이스는 의미로 검색한다. "전기차 분야 선두 기업"을 검색하면 테슬라를 반환하는 식이다.
• 벡터 검색과 키워드 검색을 결합한 하이브리드 RAG가 대부분의 프로덕션 시스템에 가장 적합하다.
• 페이지 인덱스(추론 기반 RAG)는 임베딩이나 벡터 DB 없이 문서의 목차·요약 구조를 LLM이 추론해 관련 노드를 찾아간다.
• 코드·전문용어·ID·인용처럼 정확한 키워드 매칭이 중요한 경우에는 BM25·TF-IDF 기반 키워드 RAG가 적합하다.

자주 묻는 질문

관련 AI 소식