계산역학으로 본 트랜스포머 해석 가능성, 믿음 상태 기하와 어텐션이 만드는 프랙탈 구조

핵심 메시지

• 기존 해석 연구가 학습된 큰 모델을 열어 보는 방향이라면, 계산역학은 반대로 단순한 생성 과정에서 출발해 '최적 예측이란 무엇인가'를 먼저 계산해 두고 모델과 비교한다.
• 관측자는 처음에 자신이 과정의 어느 지점에 있는지 모르기 때문에, 기호를 몇 개 관찰해 상태를 좁혀 나가야 한다. 이렇게 좁혀진 확률 분포가 믿음 상태다.
• 믿음 상태가 무한히 많은 과정에서는 그 집합이 프랙탈을 이루는데, 이 데이터로 학습한 한 층짜리 트랜스포머의 활성값을 주성분 분석하면 이론이 예측한 것과 같은 모양이 나온다.
• 트랜스포머에는 순환 신경망 같은 기억이 없어 매 위치마다 표현을 처음부터 다시 쌓아 올린다. 어텐션 출력 벡터의 합으로 시어핀스키 삼각형 형태를 만들고 MLP가 그것을 비틀어 목표 기하로 옮긴다.
• 여러 과정을 곱해 만든 데이터를 학습시키면 모델은 합쳐진 전체가 아니라 각 요소를 분리해 표현했고, 잡음을 섞어도 그 경향이 유지됐다.

쉽게 이해하기

폴란드 AI 안전 커뮤니티가 운영하는 격주 세미나에서 대규모 언어모델 해석을 연구하는 발표자가 계산역학이라는 낯선 분야를 소개했다. 발표자는 어트리뷰션 기법을 주로 다뤄 왔고 회로 추적 도구 개발에도 참여했는데, 이번 주제는 그와는 결이 다르다. 기존 해석 연구는 이미 학습된 모델을 열어 계산을 단순화하고 표현들 사이의 상호작용을 살피는 방식이지만, 만족스러운 답을 얻어도 그것이 전부라고 말하기는 어려웠다는 문제의식에서 출발한다.

계산역학의 접근은 반대 방향이다. 아주 작은 생성 과정을 정해 두고 그 과정으로 데이터를 만든 뒤, 그 데이터를 예측하도록 모델을 학습시킨다. 동시에 데이터가 어떻게 만들어졌는지 알고 있으니 '가장 잘 예측하려면 무엇을 기억해야 하는가'를 직접 계산할 수 있다. 그러면 모델이 최선을 다하고 있는지, 더 잘할 여지가 있는지 같은 중간 질문에 답이 생긴다. 발표자는 언어 자체를 이렇게 다루기는 아직 너무 어렵다고 선을 그으면서, 언어 예측을 여러 작은 과제의 묶음으로 볼 수도 있다고 덧붙인다.

직관을 위해 든 예는 동전을 두 번 던져 기호 두 개를 내보내고 세 번째로 그 둘의 배타적 논리합을 내보내는 단순한 과정이다. 중간에 끼어들어 관찰을 시작한 사람은 자신이 무작위 구간에 있는지 결정적 구간에 있는지 알 수 없어, 모든 상태에 걸친 분포에서 출발해 기호를 하나씩 볼 때마다 가능성을 지워 나가다가 위치가 특정되는 순간부터 다음 기호를 확실히 맞힐 수 있게 된다. 본격적인 실험 대상은 상태 사이를 확률적으로 옮겨 다니며 자신이 어디 있는지 흐릿한 단서만 내보내는 과정으로, 상태가 바뀔 확률과 단서의 정확도를 매개변수로 조절하면서 갱신되는 믿음 상태들을 모두 모으면 자기 닮음 구조인 프랙탈이 나타난다. 이 과정에서 뽑은 기호 열로 한 층짜리 트랜스포머를 평범하게 학습시킨 뒤 잔차 흐름의 활성값을 주성분 분석하면 이론에서 그린 것과 사실상 같은 그림이 나오고, 어텐션 직후 지점만 보면 시어핀스키 삼각형이 나타난다.

왜 그런 모양이 나오는지가 이 발표의 핵심이다. 믿음 상태를 갱신하려면 직전 추정을 기억하고 있어야 하는데, 순환 신경망과 달리 트랜스포머에는 그런 기억이 없다. 대신 매 위치에서 어텐션의 출력 벡터들을 정해진 가중치로 더해 필요한 지점에 도달하는 방식으로 표현을 처음부터 다시 만든다. 그렇게 만들어진 삼각형을 MLP가 잡아당겨 비틀면 목표하던 기하가 된다. 기호가 '내가 있는 곳'이 아니라 '내가 있지 않은 곳'을 알려 주도록 설정을 뒤집으면 진동하는 가중치가 필요해져 어텐션 헤드가 두 개 있어야 하고, 실제로 하나는 양의 몫, 다른 하나는 음의 몫을 맡는다.

발표자는 마지막에 스스로 한계를 분명히 했다. 이것은 장난감 모델이고 언어모델이 무엇을 하는지에 대한 답이 아니며, 기존 해석 연구를 보완하는 작업이라는 것이다. 안전에 어떻게 기여하느냐는 질문에는 해석 연구와 같은 이유라고 답하면서도, 능력 향상에 더 기여할 수도 있다는 비판에 '모른다'고 솔직히 말했다. 다만 요일이 원형으로, 줄 바꿈 과제가 나선형으로 배열되는 현상처럼 이미 관찰됐지만 설명되지 않은 구조들에 대해, 왜 그렇게 되어야 하는지 물을 수 있는 어휘를 만드는 일이 이 연구의 몫이라고 정리했다.

주요 인사이트

• 해석 연구의 어려움 중 하나는 무엇을 찾아야 하는지 모른다는 것이다. 이 접근은 답을 먼저 계산해 두고 모델에서 그것을 찾는 순서를 택해, 관찰된 구조가 우연인지 필연인지 판정할 수 있게 만든다.
• 구조가 아키텍처의 제약에서 나온다는 점이 흥미롭다. 트랜스포머가 삼각형을 매번 새로 쌓는 이유는 그것이 좋아서가 아니라 순환 기억이 없기 때문이고, 표현 방식은 결국 무엇이 가능한지에 따라 결정된다.
• 같은 문제에서 순환 신경망이 완벽하게 동기화를 배우는 반면 트랜스포머는 0이 길게 이어지면 위치를 잊는다는 언급은, 아키텍처마다 잘하는 종류의 기억이 다르다는 점을 구체적인 예로 보여준다.
• 여러 과정을 곱해 만든 데이터에서 모델이 굳이 요소들을 분리해 표현한다는 결과는, 모델이 언어를 배울 때도 뒤섞인 전체가 아니라 분해된 조각을 찾으려 한다는 가설로 이어질 수 있다.
• 발표자가 안전 기여에 대한 질문에 확답하지 않고 이중 용도 가능성까지 인정한 대목은, 이 분야의 연구자들이 스스로의 정당화를 얼마나 조심스럽게 다루는지를 보여준다.

자주 묻는 질문

관련 AI 소식