인퍼런스 시대의 토큰 팩토리, prefill·decode 분리와 투기적 디코딩이 바꾸는 GPU 경제학

핵심 메시지

• 출연한 스타트업 대표는 엔비디아 B300 약 100장을 갖춘 1MW급 데이터센터를 사내에 직접 구축했고, 발열을 한쪽으로 몰아 옥상 냉각탑으로 빼는 공랭식 핫아일 구조로 운영한다고 밝혔다.
• 언어모델이 토큰 하나를 만들려면 모델 가중치를 한 번은 다 읽어야 하는데, 이 속도가 GPU 연산이 아니라 HBM 메모리 대역폭에 묶여 있어 초당 토큰 수의 상한을 결정한다.
• 입력을 읽는 prefill은 GPU 연산을 압도적으로 많이 쓰고 출력을 만드는 decode는 거의 쓰지 않기 때문에, 둘을 물리적으로 분리된 서버 군으로 나누면 같은 GPU가 감당하는 처리량이 적게는 3~4배, 많게는 100배까지 늘어난다.
• 여러 토큰을 미리 추측해 병렬로 검증하는 투기적 디코딩이 최근 모델에 기본 탑재되면서, 280B급 모델에서 초당 1,000토큰이 넘는 생성 속도가 시연됐다.
• 대표는 이 인프라가 5%만 가동돼도 감가상각 비용과 토큰 원가가 같아지고 10%면 두 배 이득이라며, 1년 안에 자본지출을 회수할 수 있다고 계산을 공개했다.

쉽게 이해하기

AI 전문 팟캐스트가 국내 AI 스타트업의 GPU 데이터센터를 직접 찾아가 녹화한 에피소드다. 진행자들은 이른바 '토큰 팩토리'라 불리는 시설 안에서 뜨거운 공기가 모이는 통로를 지나며 장비를 살펴본다. 초대된 대표는 시설 전체 규모가 100억 원 안팎이고, 주력 장비는 엔비디아의 최신 GPU인 B300 약 100장이며, 좁은 공간에서도 안정적으로 돌리기 위해 뜨거운 공기만 모아 최상층 냉각탑으로 보내는 구조를 택했다고 설명한다.

현장 시연의 핵심은 속도였다. 280B 규모의 모델이 초당 1,000토큰이 넘는 속도로 글을 쏟아냈는데, 통상 이런 모델을 외부 제공사에서 받아 쓰면 초당 50토큰 정도를 기대한다. 대표는 사람이 글을 읽는 속도가 빨라야 초당 20~30토큰이라며, 초당 1,000토큰이면 소설책 한 권을 1분 남짓에 쓰는 셈이라고 비유했다. 진행자들은 이 속도가 단순히 빠른 것이 아니라, AI가 답을 만드는 동안 다른 일을 하며 기다리던 작업 방식 자체를 바꿔 놓는다는 점에 주목했다.

왜 원래는 느린지에 대한 설명이 이어진다. 언어모델은 토큰 하나를 뱉을 때마다 모델의 모든 가중치를 한 번씩 읽어야 하고, 그 속도는 GPU의 연산 능력이 아니라 HBM 메모리를 읽는 속도에 묶여 있다. 그래서 연산 성능이 아무리 남아돌아도 초당 수십, 수백 토큰에 갇힌다. 이 벽을 우회하는 방법이 투기적 디코딩으로, 컴퓨터의 분기 예측이나 캐시처럼 앞으로 나올 토큰 여러 개를 미리 만들어 두고 남는 연산 자원으로 한꺼번에 검증한다. 예측이 맞을 확률이 높을수록 속도가 올라가고, 최근 공개되는 모델들은 이 기능을 처음부터 품고 나온다.

이날의 본론은 prefill과 decode의 분리였다. prefill은 프롬프트와 코드, 시스템 지시문 같은 입력을 읽어 들이는 과정으로 GPU 연산을 대량으로 쓰고, decode는 답을 한 글자씩 만들어 내는 과정으로 메모리에 묶여 연산은 거의 쓰지 않는다. 성격이 정반대인 두 작업을 한 서버에서 돌리면 누군가 긴 입력을 넣는 순간 다른 사용자들의 출력이 함께 멈춘다. 대표는 두 작업을 아예 별도의 서버 군으로 갈라 놓고 그 사이에서 KV 캐시를 빠르게 옮기면 같은 GPU로 감당하는 사용자 수가 몇 배에서 수십 배까지 늘어난다고 설명했다. 진행자는 상용 모델의 가격표가 문맥 길이 구간에 따라 달라지는 것도 결국 제공사가 팜을 물리적으로 나눠 운영하기 때문이라고 짚었다.

후반부는 경제성과 산업 구조로 넘어간다. 대표는 1MW를 확보하는 비용이 일반 데이터센터에 입주할 때보다 훨씬 적게 들었다고 말하면서, 전력망 입장에서 가장 곤란한 것은 많이 쓰는 것도 적게 쓰는 것도 아니라 사용량이 널뛰는 것이라는 점을 이유로 들었다. 그는 가동률 5%면 손익이 맞고 10%면 두 배 남는다는 계산과 함께, GPU를 빌리지 않고 사들인 이유로 유휴 자원을 자체 연구와 최적화 에이전트에 돌릴 수 있다는 점을 꼽았다. 진행자는 전기가 처음 보급되던 시기를 빗대, 지금은 모델 계층이 가치를 대부분 가져가지만 경쟁으로 마진이 깎이면 그 가치가 데이터센터 쪽과 고객에 가장 가까운 응용 쪽으로 갈라져 이동할 것이라고 정리했다.

주요 인사이트

• 속도 지표를 초당 토큰 수로만 보는 습관이 흔들린다. 시연에서 더 큰 모델이 토큰 속도는 세 배 느렸는데도 같은 작업을 더 빨리 끝냈다. 토큰을 얼마나 빨리 뽑느냐가 아니라 일을 언제 끝내느냐가 실제 지표라는 것이다.
• 자체 인프라의 이점은 가격보다 자유도 쪽에 있었다. prefill 한 대와 decode 두 대를 직접 케이블로 묶는 식의 구성은 임대 환경에서는 요청하기 어렵고, 고가의 네트워크 장비를 통째로 덜어낼 여지도 생긴다.
• 최적화 노하우의 수명이 짧아지고 있다. 새 모델 구조를 자사 서빙 환경에 맞추는 데 15분, 자체 모델에 예측 헤드를 붙여 속도를 대여섯 배로 올리는 데 일주일이 걸리지 않았다는 언급은, 사람의 숙련이 아니라 남는 연산량이 차별점이 되는 방향을 보여준다.
• 빠른 응답이 반드시 편한 것은 아니라는 관찰이 흥미롭다. 누르자마자 결과가 나오면 생각할 틈이 사라져 오히려 사람이 더 피로해진다는 것으로, 지연 시간을 전제로 굳어진 업무 습관을 다시 배워야 한다는 뜻이다.
• 가치 사슬이 이동한다는 진단은 국내 기업에도 적용된다. 오픈 웨이트 모델이 계속 나오는 한 모델 자체로 벌어들이는 몫은 줄고, 남는 자리는 전력과 장비를 쥔 아래쪽과 고객 업무에 직접 붙는 위쪽이라는 그림이다.

자주 묻는 질문

관련 AI 소식