옵티마이저와 분산 학습 정리: 모멘텀·Adam·데이터 병렬화가 신경망 훈련을 바꾸는 방식

핵심 메시지

• 옵티마이저는 결국 두 가지 동작으로 요약된다. 기울기를 받아 가중치를 갱신하는 단계와, 다음 계산을 위해 기울기를 비우는 단계다.
• 모멘텀은 내리막 방향으로 속도를 누적해 얕은 골짜기를 빠져나오게 하고 같은 방향이 반복될 때 수렴을 앞당긴다. 감쇠 항이 없으면 최적점을 지나쳐 계속 진동한다.
• 현장에서 기본값처럼 쓰이는 것은 Adam이다. 기울기의 평균과 분산을 함께 활용해 잡음이 심한 기울기에서도 학습을 이어간다.
• 학습을 여러 GPU로 나누는 방식은 크게 세 가지이며, 모델 복제가 가장 구현이 쉽고 모델을 쪼개는 방식일수록 공정 정체 같은 새로운 문제를 낳는다.
• 2차원 손실 지형 그림은 직관을 얻는 데만 쓰고, 수십억 차원 공간의 실제 학습을 설명한다고 믿어서는 안 된다.

쉽게 이해하기

이 강의는 AI 안전 연구자 양성 프로그램에서 신경망 학습의 실무 요소를 다룬 세션이다. 강사는 하루 분량의 학습 목표를 세 갈래로 나눈다. 옵티마이저를 처음부터 직접 구현하기, 학습 과정을 모니터링하고 하이퍼파라미터를 자동으로 탐색하는 도구를 익히기, 그리고 여러 GPU에 학습을 분산하는 방법을 이해하기다.

옵티마이저는 정의상 두 개의 메서드로 이루어진다. 기울기를 받아 파라미터를 갱신하는 동작과, 다음 순전파를 위해 기울기를 0으로 되돌리는 동작이다. 가장 단순한 형태인 경사하강법은 손실 함수를 파라미터로 미분해 내리막 방향으로 조금씩 이동한다. 이때 얼마나 움직일지 정하는 학습률은 사람이 골라야 하는 값인데, 너무 작으면 수렴이 한없이 느려지고 너무 크면 갱신 폭이 커져 발산해 버린다.

모멘텀은 이 단순한 이동에 관성을 더한다. 강사는 산을 내려오다 중턱의 작은 웅덩이에 갇히는 상황을 예로 든다. 속도가 붙어 있으면 웅덩이를 넘어갈 수 있다는 것이다. 매 단계마다 내리막 방향이 속도에 누적되고, 갱신은 기울기가 아니라 누적된 속도 방향으로 이루어진다. 여기에 마찰에 해당하는 감쇠 항이 없으면 최저점에 도착한 뒤에도 튕겨 나가 진동이 이어진다.

강의 후반부는 학습을 여러 장치로 나누는 세 가지 방식에 할애된다. 데이터 병렬화는 같은 모델을 여러 카드에 복제해 배치를 나눠 처리한 뒤 기울기를 평균 낸다. 파이프라인 병렬화는 모델 자체를 층 단위로 쪼개 조립 라인처럼 흘려보낸다. 텐서 병렬화는 가중치 자체를 조각내 나눠 갖는 방식으로, 한 층조차 카드 하나에 들어가지 않을 때 쓰인다.

강사는 각 방식의 한계도 함께 짚는다. 데이터 병렬화는 카드 사이의 지연이나 대역폭이 나쁘면 오히려 단일 GPU보다 느려질 수 있고, 규모가 충분히 커야 카드 수에 비례하는 속도 향상을 기대할 수 있다. 파이프라인 병렬화는 순전파가 모두 끝나야 역전파를 시작할 수 있어 파이프라인이 비는 구간이 생기고, 모델을 비슷한 처리 시간의 덩어리로 깔끔하게 나누지 못하면 느린 구간이 전체를 붙잡는다.

주요 인사이트

• 저차원 손실 지형 시각화는 학습을 이해하는 보조 수단일 뿐이다. 강사는 파라미터가 수십억 개인 공간에서는 어느 방향으로든 내리막이 있을 가능성이 높아 국소 최솟값에 갇히는 문제가 저차원만큼 심각하지 않다고 본다.
• 모멘텀의 가치는 국소 최솟값 탈출보다 수렴 속도에 있다는 답변이 이어졌다. 모멘텀이 오래된 기법이던 시절에는 실제로 갇히는 일이 있었지만, 지금은 모멘텀 없이 학습하면 그저 훨씬 느려진다는 점이 더 큰 이유다.
• 하이퍼파라미터 탐색 도구는 여러 장치나 물리적으로 떨어진 머신에 작업을 배분하고, 각 작업자가 학습률과 배치 크기를 받아 학습을 돌린 뒤 결과를 보고하게 한다. 어떤 값이 손실에 얼마나 영향을 주는지, 상관관계가 양인지 음인지까지 보여준다.
• 대규모 학습에서는 카드를 한 랙에 무한정 꽂을 수 없어 랙 사이를 느린 네트워크로 연결해야 하고, 이때 위상이 복잡해진다. 강사는 수천 장의 GPU를 다루는 일 자체가 별도의 직군이라고 표현했다.
• 강사는 최근 등장한 옵티마이저 Muon을 보너스 자료로 소개하면서 스스로도 원리를 자세히 살펴보지 않았다고 밝혔다. 대규모 언어모델 학습 속도가 40% 개선된다는 점만 언급하며 관심 있는 사람은 직접 읽어보라고 권했다.

자주 묻는 질문

관련 AI 소식