신뢰할 수 있는 AI의 조건: 인간과 AI의 동반자 관계, 데이터센터 전력과 일자리 문제까지

핵심 메시지

• 자율 시스템을 기계 단독으로 시험하는 방식으로는 실제 배치에서 벌어지는 일을 예측할 수 없다. 사람과 기계가 맺는 관계 자체를 설계 대상으로 봐야 한다.
• AI가 자신의 확신도를 알려주면 사람은 검토를 건너뛰고 더 많은 작업을 수락하지만, 전체 성과는 나아지지 않았다는 실험 결과가 있다.
• 시간이 절약됐다는 사실이 곧 생산성 향상은 아니다. 영국 정부 부처 실험에서도 절약된 시간이 성과로 이어졌다는 근거는 확인되지 않았다.
• AI 확산의 새로운 병목은 성능이 아니라 지속가능성, 주권, 노동력이다. 전력과 물, 데이터 보관 위치, 사라지는 신입 일자리가 모두 정책 문제로 넘어왔다.
• 지난 20년간 멀티에이전트 연구가 쌓아온 규범, 협상 프로토콜, 책임 추적 체계는 지금의 언어모델 에이전트에 그대로 재활용할 수 있다.

쉽게 이해하기

이 강연은 미국 카네기멜런대학교의 AI 연구 기관들이 함께 연 세미나로, 영국 사우샘프턴대학교의 고팔 람천 교수가 발표를 맡았다. 그는 멀티에이전트 시스템으로 박사 과정을 시작해 20여 년간 사람과 기계가 함께 일하는 시스템을 연구해 왔고, 현재는 영국의 대규모 책임 있는 AI 연구 프로그램을 이끌고 있다.

발표의 출발점은 재난 대응과 에너지 관리였다. 초기 연구는 지진으로 무너진 도시를 시뮬레이션해 구급차와 소방차 배치를 최적화하는 알고리즘이었고, 가정용 배터리와 전기 요금을 결합한 스마트홈 모델도 다뤘다. 두 경우 모두 시뮬레이션 안에서는 잘 작동했지만, 실제 사람을 넣는 순간 결과가 달라졌다. 사람은 요금 신호를 무시하기도 하고, 에이전트가 가전 사용 시간을 마음대로 옮기는 것을 반기지 않았다.

람천 교수는 이 경험에서 인간과 기계의 집합체를 설계하는 네 가지 축을 끌어냈다. 자율성의 방향이 한쪽으로 고정되지 않는 유연한 자율성, 상황에 따라 팀이 만들어지고 흩어지는 민첩한 팀 구성, 참여자들이 전체 이익에 맞게 움직이도록 하는 유인 설계, 그리고 문제가 생겼을 때 누가 어떤 결정을 했는지 되짚을 수 있는 책임 추적 기반이다. 마지막 축의 결과물 중 하나가 데이터의 생성과 처리 경로를 기록하는 웹 표준이었다.

2015년 재난 대응 실험은 이 문제를 선명하게 보여준다. 참가자들에게 역할을 주고 방사능 구름이 퍼진 캠퍼스를 무대로 작업을 배정하는 앱을 쥐여줬는데, 사람들이 마음에 드는 작업과 동료가 나올 때까지 계속 거절하면서 시스템 전체가 실패했다. 연구팀은 알고리즘이 거절 확률과 선호를 학습하게 만들고, 동시에 본부가 에이전트와 현장 인력 사이에서 계획을 중재하는 인터페이스를 넣어 문제를 완화했다.

강연 후반은 정책 이야기로 옮겨간다. 그는 각국 정부에 같은 내용을 설명하고 있다며 세 가지 과제를 제시했다. 데이터센터가 지역의 전력과 깨끗한 물을 잠식하는 지속가능성 문제, 데이터와 모델을 어디에 두어야 하는가라는 주권 문제, 그리고 신입 채용이 사라지면서 조직이 훈련 통로를 잃는 노동력 문제다. 그는 구직 플랫폼 인디드의 조사를 인용해 신입 수준 일자리 33%가 플랫폼에서 사라졌고, 조직 구조가 피라미드에서 다이아몬드 모양으로 바뀌고 있다고 전했다.

주요 인사이트

• 2016년 실험에서 전사 작업을 맡은 에이전트가 자신의 확신도를 표시하자, 사람들은 확신도가 높은 결과를 검토 없이 수락하고 남는 시간을 더 어려운 작업에 썼다. 수락한 작업 수는 늘었지만 전체 성과는 확신도 정보를 받지 못한 집단과 다르지 않았다.
• 람천 교수는 상용 챗봇이 확신도를 표시하지 않는 이유를 청중에게 되물었다. 알지 못해서일 수도 있지만, 낮은 확신도가 반복해서 노출되면 사용자가 시스템을 아예 끄게 될 것이라는 점도 이유로 짚었다.
• 영국 정부는 12개 부처에 코파일럿을 배포해 회의 기록과 문서 요약에 쓰게 한 뒤 3개월간 조사했고, 하루 26분이 절약됐다는 결과를 얻었다. 담당 장관은 이것이 생산성 향상을 뜻하지는 않는다고 분명히 밝혔다.
• 그는 엔비디아의 최신 GPU 랙 한 대가 약 600킬로와트를 쓴다며, 1킬로와트짜리 주전자 600개를 동시에 켜는 것과 같다고 비유했다. 데이터센터 한 곳에는 이런 랙이 수백 대 들어간다. 아일랜드에서는 데이터센터가 재생에너지를 흡수하면서 지역 주민이 더 비싼 비재생 전력을 쓰게 된 일도 있었다.
• 그는 주권 AI의 양쪽 위험을 나란히 들었다. 한국이 자국 서버에 데이터를 모았다가 화재로 예비 체계 없이 공공 서비스 접근을 잃은 사례, 그리고 미국의 지원 중단으로 케냐가 전자 건강기록 접근을 하루아침에 잃은 사례다.

자주 묻는 질문

관련 AI 소식