GTC 2026 현장 인터뷰, 베라 루빈에 실린 추론 전용 칩과 AI 인프라의 이동

핵심 메시지

• 학습과 프리필에 최적화된 GPU와 달리 추론은 디코드 지향 설계와 메모리 대역폭이 중요해, 별도의 추론 전용 칩이 필요하다는 인식이 자리 잡았다.
• GTC 2026 키노트에서 공개된 베라 루빈 NVL72 시스템의 일부 구성에 추론 전용 칩이 포함된 것이 인터뷰이가 꼽은 그 주의 가장 주목할 소식이다.
• 코딩 에이전트는 품질 문제로 한동안 외면받았지만, 자체 배포한 오픈 모델과 결합하면서 실무 도구로 자리를 잡았다.
• 모델 제공자 대신 자체 배포 모델로 요청을 보내면 보안 경계를 더 좁게 가져갈 수 있다는 것이 개인 에이전트 운용의 장점으로 꼽힌다.
• AI에 대한 여론이 중국과 미국 사이에서 크게 갈리지만, 그런 조사 자체의 표본 한계도 함께 짚어야 한다는 지적이 나왔다.

쉽게 이해하기

엔비디아 GTC 2026 현장에서 진행된 이 인터뷰의 대상은 클라우드 인프라 플랫폼 모달의 기술 스태프 찰스 프라이다. 모달은 연산과 데이터를 많이 쓰는 애플리케이션의 배포를 쉽게 해주는 회사다. 10년 넘게 AI 연구를 해온 그는 생성 모델이 칠판에 그리고 매트랩과 줄리아로 급조하던 주제였던 시절을 기억한다며, 그것이 수조 달러 규모 산업이 된 지금 데이터센터 배관과 전력을 다루는 사람부터 에이전트 아키텍처를 고민하는 사람까지 한자리에 모이는 것이 이 행사의 매력이라고 말한다.

그가 일상에서 생성 AI를 쓰는 방식은 두 갈래다. 하나는 코딩 에이전트인데, 품질이 받쳐주지 않아 한동안 도입을 미뤘다고 한다. 최근 공개된 오픈 모델들을 자사 플랫폼에 직접 올려 에이전트를 붙이면서 상황이 달라졌고, 지금은 노트북을 열 수 없는 상황에서도 곁가지 작업이나 탐색을 걸어두는 식으로 쓴다. 다른 하나는 조금 옛날식으로, 컨트롤넷을 붙인 확산 모델로 QR 코드를 만드는 것이다. 발표나 자료 공유에 늘 쓴다며 그는 이것을 확률적 계산과 구조적 계산이 만나는 지점이라고 표현한다.

개인 환경 구성도 인상적이다. 집에는 라즈베리파이로 보이는 작은 상자가 에이전트의 핵심부를 돌리고, 요청은 외부 모델 제공자가 아니라 자신이 배포한 오픈 모델로 향한다. 덕분에 보안 경계를 남들보다 좁게 가져갈 수 있다는 설명이다. 회사 차원에서는 샌드박스 환경을 제공해 수천에서 수만 규모로 실행되는 작업을 받아내고 있다. 개인이 에이전트를 굴리는 지금의 흐름은 아직 만지작거리는 단계에 가깝다고 보면서도, 그것이 어떤 형태로 자리 잡을지 눈여겨보고 있다고 말한다.

이번 행사에서 그가 가장 주목한 소식은 키노트에서 공개된 베라 루빈 NVL72 시스템이다. 적어도 일부 구성에 추론 전용 칩이 들어간다는 점 때문이다. 그는 엔비디아가 그록을 인수하기 전부터 추론에 특화된 칩이 필요하다는 것은 분명했다고 말한다. 텐서 코어를 갖춘 GPU는 학습과 프리필에 맞춰진 물건이고, 추론에서는 디코드 지향과 메모리 대역폭이 중요하다는 것이다. GPU가 CPU보다 훨씬 나은 것은 맞지만, 트랜스포머 학습이나 프리필에서 보여주는 전용 칩에 가까운 효율을 추론에서도 내주지는 않는다는 진단이다.

그는 이런 변화가 한두 세대는 더 지나야 고민할 문제라고 생각했거나, 아니면 스타트업 중 하나가 이 영역으로 엔비디아를 흔들려 시도할 것이라고 예상했다고 털어놓는다. 그런데 루빈 세대에 이미 형태를 갖춰 나왔다는 사실 자체가 엔비디아가 움직이는 속도와 절박함을 보여준다는 평가다. 실무자로서는 새 하드웨어가 어떻게 동작하고 언제 동작하지 않는지를 다시 익혀야 하는 일이 눈앞에 놓인 셈이다.

대화는 AI를 향한 대중의 시선으로 옮겨간다. 그는 중국 응답자의 약 80%가 AI에 긍정적인 반면 미국은 17% 수준이라는 조사를 언급하며, 10년 넘게 이 기술을 꿈꾸고 만들어온 입장에서 부정적인 쪽으로만 초점이 쏠리는 것이 아쉽다고 말한다. 다만 인터뷰어는 중국 농촌에서 무작위 표본을 얻기 어려워 대부분의 조사가 대학생 위주라는 단서를 달고 있다고 짚는다. 저작권 우려에 대해 그는 자신이 쓴 글이 언어모델에 흡수되지 않는다면 오히려 서운할 것이라며, 소크라테스까지 거슬러 올라가는 아이디어의 불멸이라는 관념의 직접적인 형태라고 말한다. 대화는 전력망이 말단까지 깔리지 않은 지역이 태양광과 배터리로 그리드 단계를 건너뛸 수 있듯 기술 확산이 선진국의 순서를 그대로 따르지 않을 수 있다는 기대로 마무리된다.

주요 인사이트

• 추론과 학습은 하드웨어에 요구하는 것이 다르다. 학습과 프리필은 연산 처리량이, 토큰을 하나씩 뽑아내는 디코드는 메모리 대역폭이 관건이라 같은 칩으로 둘 다 최적으로 감당하기 어렵다.
• 추론 전용 칩이 스타트업의 무기가 아니라 엔비디아 시스템의 한 구성 요소로 등장했다는 사실은, 이 시장의 빈틈이 외부에 열려 있는 시간이 짧아지고 있음을 시사한다.
• 코딩 에이전트의 도입 시점을 가른 것은 에이전트 도구가 아니라 밑에 깔린 모델의 품질이었다. 도구가 먼저 유행해도 모델이 따라오기 전까지는 실무에서 외면받는다는 순서가 드러난다.
• 자체 모델 배포는 비용 문제만이 아니라 보안 경계 문제이기도 하다. 요청이 외부 제공자로 나가지 않으면 데이터가 오가는 범위 자체가 줄어든다.
• 국가별 AI 여론 조사를 인용할 때는 표본이 누구였는지를 함께 봐야 한다. 인터뷰에서 지적하듯 대학생 위주 표본을 두고 국민 전체의 태도로 읽으면 결론이 크게 달라질 수 있다.

자주 묻는 질문

관련 AI 소식