AI 에이전트 기초 총정리: LLM·컨텍스트 윈도우·RAG·벡터DB·LangChain·MCP 한 번에

핵심 메시지

• TechCorp라는 가상의 사내 챗봇 프로젝트를 통해 LLM, 컨텍스트 윈도우, 임베딩, RAG, 벡터 DB, LangChain, LangGraph, MCP, 프롬프트 엔지니어링을 한 번에 이해할 수 있다.
• LLM은 학습 데이터에 없는 사내 문서를 모르므로, 컨텍스트 윈도우에 데이터를 넣거나 임베딩과 벡터 검색으로 관련 내용만 찾아 넣어야 한다.
• LangChain은 여러 LLM 공급자·메모리·벡터 DB·도구를 표준 인터페이스로 묶는 추상화 계층이고, LangGraph는 노드·엣지·공유 상태로 다단계·조건 분기·반복 워크플로를 처리하도록 이를 확장한다.
• MCP(Model Context Protocol)는 자기 기술형 인터페이스로 AI 에이전트가 외부 시스템에 표준화된 방식으로 자율 연결되게 한다(USB에 비유).
• 에이전트는 정적인 답변기인 LLM과 달리 자율성·메모리·도구를 갖고 필요한 작업을 스스로 판단해 수행한다.

쉽게 이해하기

LLM은 트랜스포머 모델로 수조 개 토큰의 데이터로 학습되지만, 회사의 비공개 문서는 학습 데이터에 없다. 그래서 대화 기록처럼 컨텍스트 윈도우에 데이터를 넣어 단기 기억으로 활용한다. 컨텍스트 윈도우는 토큰으로 측정되며 모델마다 한계가 달라, Claude Opus 4는 20만, Gemini 2.5 Pro는 100만 토큰 수준이다. 다만 윈도우가 커도 무관한 정보가 섞이면 답 품질이 떨어진다. 사과 농장 문제처럼 색깔·맛 같은 불필요한 맥락은 총 개수를 세는 데 방해가 된다.

500GB에 달하는 문서는 가장 큰 컨텍스트 윈도우로도 한 번에 담을 수 없다. 여기서 임베딩이 등장한다. 임베딩은 텍스트를 의미를 담은 숫자 벡터(보통 1,536차원)로 바꾸며, "휴가 정책"과 "연차 안내"처럼 단어가 달라도 의미가 비슷하면 가까운 벡터가 된다. 덕분에 직원이 "청바지를 입어도 되나요"라고 물으면 jeans라는 단어가 없어도 복장 규정 문서를 찾아 줄 수 있다.

LangChain은 이 모든 것을 묶어 주는 추상화 계층이다. 정적인 두뇌인 LLM과 달리 에이전트는 자율성·메모리·도구를 갖고 스스로 작업을 결정한다. LangChain은 공급자를 한 줄로 바꾸고(OpenAI↔Anthropic↔Gemini), 메모리 관리·벡터 DB 연동·임베딩·도구 통합을 표준 컴포넌트로 제공해 직접 구현할 인프라를 크게 줄여 준다. 실습에서는 같은 로직을 약 10줄에서 3줄로 줄여 코드를 70% 절감하는 것을 보여 준다.

벡터 데이터베이스는 값이 아니라 의미로 데이터를 저장·검색한다. SQL은 검색하는 사람이 질의를 정확히 맞춰야 하지만, 벡터 DB는 설정하는 사람이 미리 임베딩으로 변환해 두는 대신 검색하는 쪽이 편해진다. 여기에는 차원, 스코어링 임계값, 청크 오버랩 같은 설정이 따른다. 그리고 RAG는 검색·증강·생성 세 단계로 작동한다. 질문을 임베딩해 의미가 가까운 문서를 찾고(검색), 그 내용을 실행 시점에 프롬프트에 주입하며(증강), 그 근거로 답을 생성한다(생성). 이렇게 하면 모델을 재학습하지 않고도 최신·비공개 데이터로 정확히 답하고 환각을 막을 수 있다.

요구가 복잡해지면 LangChain만으로는 부족하다. LangGraph는 노드(계산 단위), 엣지(실행 흐름), 공유 상태(state graph)로 다단계·조건 분기·반복 워크플로를 표현한다. 예컨대 GDPR 컴플라이언스 점수가 75% 미만이면 다시 문서 수집 노드로 돌아가는 루프를 만들 수 있다. 마지막으로 MCP는 전통적 API와 달리 자기 기술형 인터페이스를 제공해 에이전트가 고객 DB·지원 시스템 등 외부 도구에 표준화된 방식으로 연결되게 한다. MCP 서버 코드는 한 번만 작성하면 되고, 커뮤니티가 만든 GitHub·SQL 등 서버를 그대로 쓸 수 있다. 이 모든 조각을 합치면 TechCorp의 문서 검색은 30분에서 30초 미만으로 줄고 정확도와 가용성이 크게 높아진다.

주요 인사이트

• 컨텍스트 윈도우가 커도 무관한 정보가 많으면 답 품질이 떨어진다(사과 개수 문제처럼 불필요한 맥락이 방해가 된다).
• LangChain의 핵심 가치는 LLM 공급자 교체를 한 줄로 만들고 보일러플레이트 코드를 크게 줄이는 것이다.
• 벡터 DB는 SQL과 달리 검색하는 사람 대신 데이터를 설정하는 사람이 부담을 지므로, 사용자가 의미만으로 편하게 검색할 수 있다.
• 프롬프트 기법(zero-shot, one-shot, few-shot, chain-of-thought)은 속도·형식·일관성·추론 중 무엇이 필요한지에 따라 골라 써야 한다.
• MCP는 USB처럼 표준 포트 역할을 하며, 한 번 작성된 서버 코드(직접 또는 커뮤니티 제작)를 여러 에이전트가 그대로 재사용할 수 있다.

자주 묻는 질문

관련 AI 소식