GPU 오케스트레이션이 필요한 이유: 쿠버네티스의 한계와 에이전트가 컴퓨트를 잡는 시대

핵심 메시지

• GPU 워크로드를 돌리는 일은 컴퓨트를 확보하는 프로비저닝과 작업을 올리는 스케줄링, 두 단계로 나뉜다.
• AI 인프라 수요의 중심축은 학습과 개발이 아니라 추론으로 옮겨갔다.
• 쿠버네티스는 플랫폼으로는 훌륭하지만 GPU 영역에서는 빠져 있거나 미완성인 부분이 많고, 벤더마다 갈라져 있어 파편화가 심하다.
• 기업이 내부 AI 플랫폼을 직접 만드는 데 시간을 쓰기보다 모델과 에이전트에 집중해야 한다는 것이 이 도구의 출발점이다.
• 코드를 사람이 아니라 에이전트가 쓰는 전환이 진행 중이며, 명령줄 도구도 개발자가 아니라 에이전트가 쓰도록 설계되기 시작했다.

쉽게 이해하기

이 인터뷰는 AI 인프라 오케스트레이션 계층을 오픈소스로 만드는 개발자 안드레이와 나눈 대화다. 그는 지금처럼 모두가 AI라고 부르기 전, 머신러닝이라고 부르던 시절부터 인프라 관리 계층을 만들어 왔다고 말한다. 문제의 성격은 그대로지만 규모가 훨씬 커졌다는 것이 그의 진단이다.

그는 GPU 워크로드를 돌리는 과정을 두 단계로 나눠 설명한다. 먼저 데이터센터나 클러스터, GPU 클라우드에서 실제 카드를 확보하는 프로비저닝이 있고, 그다음에 학습 같은 배치 작업이나 추론을 그 위에 올리는 스케줄링이 있다. 기존 오케스트레이션 계층에서는 이 둘 중 상당 부분이 아예 빠져 있거나 절반만 구현된 상태라는 것이 그의 주장이다.

쿠버네티스에 대한 평가는 양면적이다. 플랫폼으로서는 훌륭하고 컨테이너 생태계를 GPU 영역으로 밀고 나간 최대 지지자라는 점도 인정한다. 다만 여러 벤더가 각자 지원하면서 더 이상 하나로 모이는 생태계가 아니게 됐고, 주변 소프트웨어 중에는 완성도가 떨어지는 것이 섞여 있다고 본다.

그가 강조하는 또 하나의 축은 벤더 중립성이다. GPU 클라우드가 늘어나는 것 자체는 카드 접근성을 높이는 좋은 흐름이지만, 어디서 컴퓨트가 오든 사용자가 인프라에 시간을 쓰지 않고 붙잡을 수 있어야 한다는 것이다. 과거에는 플랫폼 팀이 쿠버네티스 위에 사내 AI 플랫폼을 얹는 방식이 일반적이었지만, 지금 기업들에는 그럴 시간이 없다고 그는 말한다.

주요 인사이트

• 그는 AI 인프라 수요가 거의 무한하다고 표현하면서, 그 수요가 학습이나 개발이 아니라 추론에서 나오고 있다고 짚었다. 오픈소스 모델의 확산과 하드웨어 보급이 함께 작용한 결과로 본다.
• 인터뷰에서 가장 눈에 띄는 관찰은 사용자가 사람이 아닐 수 있다는 점이다. 그는 이미 에이전트를 통해 컴퓨트를 확보하고 학습을 실행하는 사용자와 이야기를 나눴다고 전했다.
• 그는 명령줄 도구의 설계 대상 자체가 바뀌고 있다고 본다. 에이전트가 인프라를 다루는 상황에서는 아래 계층이 단순할수록 유리하며, 복잡한 설정 도구들을 그대로 던져주는 방식은 비효율적이라는 것이다.
• 그는 사용자에게 들은 이야기라며, 쿠버네티스 위에 자체 플랫폼을 만드는 일이 이제는 불필요한 노력으로 여겨진다고 전했다. 대형 AI 기업들이 내부적으로 구축한 수준의 플랫폼을 누구나 쓸 수 있게 만드는 것이 목표라고 밝혔다.
• 앞으로의 전망을 묻자 그는 두 가지를 들었다. 학습이든 추론이든 에이전트가 주도하는 방식이 연내에 기본이 될 것이라는 예상, 그리고 프론티어 모델이 가진 해자가 사라질 것이라는 전망이다. 다만 스스로도 흔한 이야기일 수 있다고 덧붙였다.

자주 묻는 질문

관련 AI 소식