VAE와 GAN 원리 정리, 잠재공간과 재파라미터화 트릭부터 GAN 학습 실패 모드까지

핵심 메시지

• 일반 오토인코더는 잠재공간의 각 숫자를 서로 떨어진 지점에 몰아넣어 사실상 암기하기 때문에, 두 지점 사이를 보간하면 의미 없는 이미지가 나온다.
• VAE는 잠재공간에 점이 아니라 분포를 학습시키고 표준정규분포에서 멀어지지 않도록 벌점을 줘, 서로 겹치는 잠재공간을 만든다.
• 샘플링은 미분할 수 없으므로 노이즈를 따로 만들어 표준편차를 곱하고 평균을 더하는 재파라미터화 트릭으로 역전파 경로를 확보한다.
• GAN은 판별자와 생성자를 동시에 학습시키며, 생성자의 그래디언트는 판별자를 통과해 흐르지만 판별자의 가중치는 건드리지 못하게 분리한다.
• GAN은 한쪽이 앞서면 손실이 발산해 학습이 무너지는 등 실패 모드가 많고, 알려진 대응책 대부분은 원리적 해법이 아닌 임시방편이다.

쉽게 이해하기

AI 안전 교육 프로그램 ARENA의 첫 주 마지막 강의는 생성 이미지 모델의 두 계열, 변분 오토인코더와 적대적 생성망을 다룬다. 강연자는 이 주제가 다음 주에 이어질 대규모 언어모델의 전제 조건은 아니지만, 훈련이 까다로운 모델을 직접 붙들고 씨름해보는 공학적 경험으로서 가치가 있다고 소개한다. 앞선 며칠 동안 배운 모델 명세 작성, 하이퍼파라미터 스윕, 그래디언트 흐름 추적이 한 자리에서 모두 필요해지는 과제이기도 하다.

출발점은 오토인코더다. 고차원 입력을 좁은 병목으로 압축했다가 다시 복원하는 구조이며, 목표 자체는 입력을 그대로 되돌리는 항등함수다. 병목이 없다면 이 과제는 시시하지만, 가운데를 저차원으로 좁혀두면 모델은 입력에서 중요한 성분만 짜내야 한다. 문제는 이 구조를 생성에 쓰려 할 때 드러난다. MNIST로 학습한 오토인코더의 잠재공간을 훑어보면 결과가 엉망인데, 모델이 7은 이쪽, 2는 저쪽 하는 식으로 떨어진 영역에 밀어넣고 사실상 암기해버리기 때문이다. 학습 중 7과 2 사이의 잠재벡터를 본 적이 없으니 그 중간을 디코더에 넣어도 의미 있는 결과가 나올 이유가 없다.

VAE는 이 지점을 고친다. 잠재공간으로 가는 사상 대신 잠재공간 위의 분포를 학습시키는 것이다. 인코더가 평균과 표준편차를 내놓고 거기서 정의된 가우시안에서 표본을 뽑아 디코더에 넣으면, 각 숫자가 한 점이 아니라 영역을 차지하고 영역끼리 겹치기 시작한다. 여기에 평균과 표준편차가 표준정규분포에서 너무 멀어지지 않도록 벌점 항을 더한다. 이 벌점이 없으면 모델은 다시 각 숫자의 평균을 멀찍이 떼어놓고 표준편차를 극단적으로 줄여 원래 문제로 돌아가버린다.

따라서 VAE의 손실은 서로 다투는 두 항의 합이다. 재구성이 잘 되려면 숫자들이 떨어져 있어야 유리하고, 벌점을 줄이려면 모두 겹쳐야 유리하다. 계수를 너무 작게 잡으면 잠재공간이 다시 쓸모없어지고 너무 크게 잡으면 모든 입력이 같은 자리로 모여 복원이 무너지는데, 강연자는 결국 이 계수를 이리저리 흔들어보는 수밖에 없다고 말한다. 평가에 쓸 진짜 정답이 없어서, 무작위 노이즈를 넣고 나온 그림을 눈으로 보는 것이 사실상의 판단 기준이기 때문이다. 샘플링 때문에 역전파가 막히는 문제는 재파라미터화 트릭으로 푼다. 평균 0, 분산 1인 노이즈를 역전파 대상이 아닌 값으로 따로 만들고 거기에 표준편차를 곱한 뒤 평균을 더하면, 원하는 분포에서 뽑은 것과 같으면서도 그래디언트가 흐른다.

GAN은 완전히 다른 발상이다. 판별자는 이미지를 받아 진짜일 확률 하나를 내놓는 분류기이고, 생성자는 잠재벡터를 이미지로 키우는 VAE의 디코더와 사실상 같은 구조다. 판별자는 진짜와 가짜에 대해 평범한 교차 엔트로피로 학습하고, 생성자는 판별자가 가짜에 부여하는 확률을 높이는 쪽으로 학습한다. 중요한 것은 각 최적화기가 상대의 가중치에 손대지 못하게 막는 부분이다. 생성자의 그래디언트는 판별자를 통과해 흐르지만 판별자의 가중치는 바꿀 수 없다. 강연자는 이 상태를 상대의 머릿속을 촬영해 들여다볼 수는 있지만 직접 손을 넣어 만질 수는 없는 것에 비유하며, 출력만 보이는 블랙박스를 상대하는 강화학습과 구분한다.

대신 GAN은 악명 높게 불안정하다. 두 모델이 서로를 쫓는 탓에 손실 곡선은 계속 요동치고, 그 곡선만으로는 결과물의 품질을 알 수 없다. 판별자가 지나치게 앞서면 가짜에 부여하는 확률이 0에 수렴하면서 로그값이 발산해 학습 전체가 무너지고, 반대로 둘 다 실력이 늘지 않은 채 제자리에서 맴도는 경우도 있다. 알려진 대응책은 뒤처진 쪽에 그래디언트 스텝을 더 주기, 정답 레이블을 1과 0 대신 0.9와 0.1로 무르게 쓰기, 손실이 발산한 배치를 버리기, 안 되면 초기값을 바꿔 다시 돌리기처럼 대체로 임시방편이다. 강연자는 이렇게 훈련한 GAN이 한 시간쯤 두면 눈을 가늘게 뜨면 얼굴로 보이는 이미지를 만든다며, 그것이 2014년과 2015년 무렵의 최고 수준이었다고 정리한다.

주요 인사이트

• VAE에서 노이즈는 부작용이 아니라 설계 의도다. 7 근처의 여러 벡터에서도 7을 복원하도록 강제하는 정규화 장치이고, 그 덕분에 잠재공간을 훑는 일이 의미를 갖는다.
• 생성 모델을 다룰 때 가장 곤란한 것은 평가 기준이다. 재구성 오차로 학습하지만 정작 원하는 것은 잠재공간의 쓸모여서, 결국 무작위 노이즈를 넣고 사람 눈으로 확인하는 단계를 벗어나기 어렵다.
• 재파라미터화 트릭은 확률적 연산을 학습 가능한 그래프에 끼워 넣는 일반적인 수법이다. 무작위성을 그래프 밖의 입력으로 밀어내면 나머지 경로는 평범하게 미분된다는 발상이 핵심이다.
• 적대적 학습의 안정성 문제는 대부분 힘의 균형에서 온다. 어느 한쪽이 완벽해지는 순간 상대가 받을 신호가 사라지므로, 두 손실이 비슷한 크기에서 함께 출렁이는 상태가 오히려 정상 신호다.
• 강연자는 VAE와 GAN이 더 이상 최신 기술은 아니며 이미지 생성의 주류가 확산 모델로 넘어갔다고 짚는다. 다만 확산 모델도 노이즈를 더하는 과정과 되돌리는 과정을 인코더와 디코더로 두는 셈이어서, 여기서 익힌 개념이 그대로 이어진다.

자주 묻는 질문

관련 AI 소식