전환적 AI의 경제학: 하드웨어·소프트웨어 성장 모형과 p(doom)이 말하는 성장 가속과 멸종 위험

핵심 메시지

• 발표자는 생산을 자본과 노동이 아니라 물리적 행동을 수행하는 '하드웨어'와 그 행동을 지시하는 '소프트웨어'로 가르는 틀을 제안했다. 사람의 근력·공장 기계·컴퓨트·로봇이 앞쪽이고, 사람의 인지 노동과 디지털 소프트웨어·AI가 뒤쪽이다.
• 두 요소는 서로 자유롭게 대체되지 않고 보완 관계라서, 희소한 쪽이 병목이 되고 요소 소득도 그 병목으로 쏠린다. 산업화 이전에는 인간의 육체노동이, 20세기에는 인간의 인지 노동이 병목이었다.
• 인지 노동이 AI로 대체되면 병목은 다시 하드웨어인 컴퓨트와 로봇으로 옮겨가고, 성장률은 컴퓨트가 늘어나는 속도에 묶여 연 20~30% 수준까지 가속될 수 있다고 봤다. 대신 노동소득 비중은 0에 가깝게 떨어진다.
• 두 번째 논문에서는 AI가 주도권을 넘겨받은 이후를 코르누코피아부터 멸종까지 나무 구조로 정리하고, 표준적인 사회후생 함수로 '얼마만큼의 멸종 위험까지 감수할 만한가'를 수치로 계산했다.
• 발표자의 결론은 프런티어 모델 개발을 일단 멈추고, 실존 위험을 줄이는 안전·가치 정렬 연구에 큰돈을 투자해야 한다는 것이었다.

쉽게 이해하기

AI 세이프티 폴란드는 그동안 기술적 안전 주제만 다뤄왔는데, 이번 세미나는 처음으로 경제학으로 발을 옮겼다. 발표자 야쿠프 그로비에츠는 바르샤바 경제대에서 계량경제학과를 이끌고 있으며, 원래 장기 경제성장과 기술 변화를 연구하다 최근 전환적 AI의 경제학으로 방향을 틀었다. 그는 AI가 성장률을 몇 퍼센트가 아니라 자릿수 단위로 끌어올릴 수 있다고 보면서도, AI가 통제권을 가져가고 인류가 멸종할 위험을 크게 걱정한다고 밝혔다.

첫 번째 논문의 출발점은 단순한 관찰이다. 어떤 생산 과정이든 산출은 '목적을 갖고 시작된 물리적 행동'에서 나오고, 그러려면 에너지를 쓰는 행동과 그 행동을 정의하는 정보가 둘 다 있어야 한다. 아무 뜻 없는 물리적 행동만으로도, 실행되지 않는 코드만으로도 산출은 없다. 그래서 그는 행동을 담당하는 쪽을 하드웨어, 지시를 담당하는 쪽을 소프트웨어로 묶었는데, 이 구분은 자본과 노동이라는 익숙한 이분법과 정확히 직교한다. 물리적 자본은 자본이면서 하드웨어이고, 사람의 인지 노동은 노동이면서 소프트웨어다.

이 틀로 역사를 훑으면 시대마다 병목이 옮겨 다닌 이야기가 된다. 산업혁명 이전에는 인간의 육체노동이 병목이라 기술이 나아져도 산출이 크게 늘지 않았고, 증기기관 이후 기계가 그 자리를 대신하자 소득은 기계를 가진 쪽으로 흘렀다. 19세기 말부터 20세기 내내 희소한 것은 인간의 인지 노동이었고, 기술 진보가 그 인지 노동을 더 생산적으로 만들면서 임금이 자본 수익과 나란히 연 2% 안팎으로 오르는 익숙한 그림이 만들어졌다. 지금은 소프트웨어 안에서 사람이 기계로 바뀌기 시작한 첫 단계라는 것이 발표자의 진단이다.

그는 미래를 장기침체와 균형성장, 가속성장, 기술적 특이점의 스펙트럼 위에 놓고 완전 자동화가 가능하다는 전제 아래 가속성장을 기준선으로 삼았다. 인간 두뇌에 결코 흉내 낼 수 없는 무언가가 있다고 보지 않기 때문에, 일부 과제가 영원히 자동화되지 않는다고 전제하는 장기침체 시나리오는 받아들이지 않는다고 했다. 완전 자동화가 이뤄지면 성장의 상한은 사람이 아니라 컴퓨트 축적 속도가 정하고, 사람은 AI보다 값이 쌀 때만 고용된다.

두 번째 논문은 클라우스 프레트너와 함께 AI가 주도권을 넘겨받은 이후를 정면으로 다룬다. 전환적 AI를 만들지 않는 세계, 만들었지만 인수는 없는 세계, 잘 정렬된 AI가 성장을 가속하는 코르누코피아, 정렬 실패나 뒤늦게 어긋나는 경우의 파국을 갈래로 나눈 뒤 경제학의 표준 효용함수로 비교했다. 기준 설정에서 나온 숫자는 인색해서, 멸종이 확실하다면 최소 380년 뒤에 와야 하고 즉시 일어나는 일회성 위험이라면 확률이 10만분의 1 미만이어야 개발이 정당화되며 누적 위험 시나리오에서는 아예 만들지 말아야 한다는 답이 나왔다. 반대로 파국을 피하려 치를 만한 값은 엄청나서, 100년 뒤 확실한 멸종을 없애는 데 매년 총소비의 92%를, 10%의 파국 확률을 지우는 데 85~87.5%를 낼 만하다는 계산이 나왔다.

주요 인사이트

• 자본과 노동 대신 하드웨어와 소프트웨어로 자르면, 'AI가 일자리를 없앤다'는 말이 요소 소득이 어디로 흐르는가라는 분배 문제로 바뀐다. 발표자가 노동소득 비중이 0으로 간다고 말할 때 뜻하는 것은 임금 액수가 아니라 임금이 더 이상 분배 장치가 아니게 된다는 쪽이다.
• 성장 가속의 상한이 컴퓨트 증가율에 묶인다는 주장은, AI 이후 경제의 진짜 제약이 알고리즘이 아니라 반도체·전력·로봇 같은 물리적 설비라는 뜻이다. 소프트웨어 쪽 기술 진보는 병목이 아닌 곳을 밀게 된다.
• 발표자는 통제와 정렬을 구분하면서 통제 쪽은 사실상 가망이 없다고 봤다. 초인적 능력과 속도로 움직이는 시스템을 사람이 실시간으로 붙잡아 둘 수 없다는 이유이며, 그래서 남는 희망은 가치가 맞춰진 상태를 만드는 쪽뿐이라고 했다.
• 자동화의 경제적 압력은 작업뿐 아니라 의사결정까지 밀고 간다는 지적이 날카롭다. 사람 결정권자가 병목이고 자제하면 경쟁사가 먼저 넘길 유인이 있어, 개별 기업이나 한 나라가 혼자 멈추기 어렵다는 것이다.
• 질의응답에서 그는 GDP가 0으로 내려가는 것이 아니라고 못 박았다. 산출이 노동으로 가지 않으면 자본과 AI 서비스 공급자에게 갈 뿐이고, 기본소득이나 기본자본 같은 재분배가 논의 대상이 되는 것이라고 답했다.

자주 묻는 질문

관련 AI 소식