로버스트 강화학습의 데이터 비용: 강건성과 학습 효율은 반드시 상충하는 목표가 아니다

핵심 메시지

• 환경 변화에 대비하는 로버스트 강화학습이 표준 강화학습보다 반드시 더 많은 데이터를 요구하지는 않는다.
• 불확실성 집합을 총변동거리나 Lp 노름으로 정의하면 필요한 데이터가 표준 강화학습 이하로 내려가지만, 카이제곱 발산으로 정의하면 오히려 훨씬 많이 든다.
• 문 손잡이 높이가 달라진 환경 실험에서 로버스트 해법은 두 환경 모두에서 작동했고, 위에서 문을 여는 더 일반적인 방법을 찾아내기도 했다.
• 게임 이론 쪽에서는 위험 회피와 제한적 합리성이라는 현실적 가정을 넣자 균형 계산이 오히려 다루기 쉬워졌다.
• 강건성은 학습 효율을 갉아먹는 부담이 아니라, 설계하기에 따라 학습을 돕는 기회가 될 수 있다.

쉽게 이해하기

미쓰비시전기 연구소(MERL) 세미나 시리즈에서 존스홉킨스대 조교수 라이시 시가 의사결정 AI의 신뢰성과 학습 효율을 함께 달성하는 방법을 발표했다. 카네기멜런대에서 박사학위를 받고 칼텍에서 박사후연구원을 거친 그는 강화학습과 역문제를 주로 다뤄왔다. 강연은 강화학습을 다루는 1부와 다중 에이전트 게임을 다루는 2부로 나뉘었으며, 두 파트 모두 '강건성을 넣으면 비용이 커진다'는 통념을 검증하는 데 초점을 맞췄다.

발표자는 먼저 의사결정 AI를 현실에 옮길 때 부딪히는 세 가지 병목을 짚었다. 첫째는 학습 데이터 부족이다. 대형 모델 사전학습에는 막대한 데이터가 들어가지만 품질·개인정보·비용 문제로 쓸 수 있는 데이터는 한정돼 있고, 로보틱스나 의료처럼 위험도가 높은 영역에서는 하드웨어와 규제 제약까지 겹친다. 둘째는 연산 비용으로, 돈뿐 아니라 시간과 전력의 문제다. 발표자는 GPU 한 장으로 대형 언어모델을 학습시킨다면 수백 년이 걸린다는 추정과, 데이터센터 전력 소비가 웬만한 국가 전체와 맞먹는다는 점을 들었다. 셋째는 배포 후의 불확실성이다. 예상 못 한 상황에서 자율주행차가 멈춰 정체를 일으키거나, 촬영 장비와 설정이 달라지면서 영상의학 AI가 실패하는 사례가 언급됐다.

강건성을 확보하는 기존 방법은 크게 두 가지인데 둘 다 대가가 따른다. 데이터셋을 더 크고 다양하게 만드는 방식은 데이터 효율을 희생하고, 제약을 추가하거나 앙상블·메타러닝 같은 기법을 쓰는 방식은 연산 비용을 키운다. 그래서 강건성과 학습 효율이 정말 상충하는지가 이 강연의 핵심 질문이 된다. 로버스트 강화학습은 학습 환경의 전이 커널을 중심으로 일정 반경 안의 환경 변화를 상정하고, 그 안에서 최악의 경우 성능을 최대화하도록 목적함수를 세운다. 표준 강화학습과의 차이는 안쪽에 최소화 연산이 하나 더 붙는다는 점뿐이지만, 그만큼 문제는 복잡해진다.

그렇다면 이 복잡한 문제를 푸는 데 데이터가 더 필요할까. 기존 연구에서는 필요 데이터의 상한과 하한이 크게 벌어져 상반된 메시지를 주고 있었다. 연구진은 양쪽을 모두 조여 정확한 값에 도달했고, 그 결과 총변동거리로 불확실성을 정의한 경우 로버스트 강화학습에 필요한 데이터가 표준 강화학습보다 많지 않았으며 오히려 적은 구간이 많았다. Lp 노름 계열에서도 비슷한 결론이 나왔다. 반면 통계에서 널리 쓰이는 카이제곱 발산을 쓰면 상한과 하한이 모두 표준 강화학습보다 위에 놓여, 이 경우에는 데이터가 훨씬 많이 필요하다는 결론이 나온다. 정리하면 답은 '경우에 따라 다르다'이고, 실무에서 어떤 불확실성 집합을 고르느냐가 통계적 비용을 좌우한다. 발표자는 이론에 머물지 않도록 60여 개 과제를 바탕으로 로버스트 강화학습 실험을 구성할 수 있는 통합 벤치마크도 함께 공개했다고 밝혔다.

2부는 여러 에이전트가 서로 영향을 주고받는 게임 상황을 다뤘다. 표준 해법인 내시 균형은 계산이 일반적으로 매우 어렵고, 참가자가 위험에 무관심하고 실수하지 않는 완벽한 최적화 주체라고 가정한다는 점에서 실제 인간 행동과도 거리가 있다. 발표자는 행동경제학의 관찰을 끌어와 두 가지를 모델에 넣었다. 사람은 불확실한 상황에서 안전한 선택을 선호한다는 위험 회피 성향, 그리고 시간과 인지 자원의 한계 때문에 완벽한 답 대신 충분히 좋은 답에 머문다는 제한적 합리성이다. 흥미로운 결과는 이 두 가지를 넣은 균형이 유한 게임 전반에서 계산 가능해진다는 것이었다. 위험 회피와 확률적 선택이 게임 구조를 다루기 좋은 형태로 바꿔주기 때문이라는 설명이며, 실제 사람이 참여한 13개 게임 데이터에서 이 균형을 계산할 수 있는 영역과 사람들이 실제로 플레이한 영역이 겹친다는 그림도 제시됐다.

주요 인사이트

• '강건성을 넣으면 비싸진다'는 직관은 문제 정의 방식에 달려 있었다. 같은 목표라도 거리 함수를 어떻게 고르느냐에 따라 비용이 정반대로 나온다.
• 총변동거리 기반 정식화가 추가 데이터 없이 강건성을 준다는 결과는, 실무자가 로버스트 형태를 시도할 이유를 만들어준다.
• 카이제곱 발산의 결과는 반대 방향의 경고다. 익숙하다는 이유로 발산 함수를 고르면 학습 비용이 크게 늘 수 있다.
• 최악의 경우를 대비한 학습이 오히려 더 일반적인 해법을 찾아내는 사례는, 강건성이 일반화와 겹치는 지점이 있음을 보여준다.
• 인간이 실제로 어떻게 결정하는지를 모델에 반영하는 일이 계산 난이도를 낮추기도 한다는 점은, 다중 에이전트 시스템 설계에 시사하는 바가 크다.

자주 묻는 질문

관련 AI 소식