신경 데이터 통합 파운데이션 모델: 종과 과제를 넘는 전이와 뇌-기계 인터페이스 응용

핵심 메시지

• 신경 데이터는 실험실·과제·기록 방식이 제각각인 데다 같은 동물이라도 며칠 뒤 다시 기록하면 어느 뉴런이 어느 뉴런인지 대응을 알 수 없어, 이미지처럼 그냥 모아 학습시킬 수 없다.
• 연구팀은 뉴런 하나가 낸 스파이크 하나를 토큰으로 삼고 어느 뉴런에서 왔는지를 학습되는 임베딩으로 표현해, 채널 수와 순서가 다른 데이터셋을 같은 모델에 넣을 수 있게 했다.
• 네 곳의 실험실에서 아홉 마리의 영장류로부터 모은 데이터를 함께 학습하자 팔 동작을 읽어내는 성능이 전반적으로 올라갔고, 단일 데이터셋으로는 잘 안 되던 경우일수록 이득이 컸다.
• 원숭이 실험 100세션으로 사전학습한 모델을 마비 환자가 글씨 쓰기를 상상하는 전혀 다른 과제에 미세조정했더니 성능이 올랐는데, 이 결과는 아직 심사 중이라고 밝혔다.
• 쥐의 시각 영역 실험에서는 학습 목적에 넣지도 않은 세포 유형 정보가 잠재 변수에 담겨 있어, 선형 판독만으로 세포 유형을 맞힐 수 있었다.

쉽게 이해하기

펜실베이니아대의 AI·과학 세미나 시리즈에서 생명공학·컴퓨터정보과학과 교수가 뇌 데이터와 대규모 모델을 잇는 자기 연구를 소개했다. 문제의식은 간단하다. 언어모델 쪽에서는 데이터와 모델을 키우는 것만으로 새로운 능력이 나타났고, 신경과학 쪽에서도 기록 기술이 발전해 데이터가 쌓이고 있는데, 정작 분석은 데이터셋 하나에 모델 하나를 맞추는 방식으로 조각나 있다는 것이다.

그냥 합치면 될 것 같지만 신경 데이터는 이미지와 사정이 다르다. 연구실마다 다른 뇌 영역을 다른 방식으로 기록하고 과제도 제각각이며, 같은 동물을 며칠 뒤 다시 기록하면 어느 뉴런이 어느 뉴런에 해당하는지 대응이 사라진다. 발표자는 이를 이미지의 행과 열이 매번 알 수 없는 순서로 뒤섞이는 상황에 비유했다. 이 불안정성은 마비 환자의 뇌 신호를 읽는 뇌-기계 인터페이스에서도 오래 걸림돌이었다.

해법은 토큰을 정의하는 방식에 있었다. 한 시점의 전체 뉴런 활동을 한 덩어리로 묶는 대신, 각 뉴런이 낸 스파이크 하나하나를 토큰으로 삼고 그 토큰을 어느 뉴런에서 왔는지를 나타내는 학습되는 임베딩과 발생 시각으로 구성했다. 이렇게 하면 뉴런 수와 순서가 달라도 같은 표현 공간에 들어가고, 기능이 비슷한 뉴런끼리 가까운 자리에 놓이도록 모델이 스스로 정리한다.

문제는 데이터셋마다 스파이크 수가 달라 길이가 들쭉날쭉해진다는 점인데, 여기서는 학습되는 소수의 잠재 토큰이 긴 입력 열을 질의해 압축하는 구조를 썼다. 출력 쪽도 같은 방식이라 원하는 시각을 임의로 질의할 수 있어, 표본 추출 주기가 서로 다른 데이터셋을 함께 다루기 쉽다. 이 구조로 네 실험실, 아홉 마리 영장류의 팔 뻗기와 의사결정 과제 데이터를 함께 학습했다.

결과는 규모의 이득을 뒷받침한다. 여러 세션을 함께 학습한 모델이 단일 데이터셋 모델보다 동작 예측 정확도가 높았고, 원래 예측이 어려웠던 경우일수록 격차가 컸다. 다른 과제의 데이터를 더해도 성능이 올랐으며, 한 번도 본 적 없는 새 동물에 대해서는 모델 가중치를 얼린 채 뉴런 임베딩만 소량의 데이터로 갱신하는 것만으로 처음부터 학습한 모델을 앞섰다.

주요 인사이트

• 가장 놀라운 결과는 종을 넘는 전이다. 실제로 팔을 뻗는 원숭이 실험 100세션으로 사전학습한 모델을, 몸을 움직이지 못하는 환자가 글자 쓰기를 상상하는 분류 과제에 미세조정했더니 성능이 올랐다. 발표자는 이 연구가 아직 심사 중이라고 밝히면서, 서로 다른 종과 과제 사이에도 공통 구조가 있다는 신호로 해석했다.
• 학습 목적에 넣지 않은 정보가 모델 내부에 담기는 현상도 확인됐다. 쥐 시각 영역 데이터로 여러 과제를 함께 학습시킨 모델의 잠재 변수에 선형 판독기를 얹자 세포 유형을 맞힐 수 있었는데, 단일 과제만 학습한 모델에서는 이 성질이 훨씬 약했다.
• 여러 과제를 함께 푸는 편이 각각 푸는 것보다 나았다는 점도 시사적이다. 특히 달리는 속도나 동공 위치처럼 시각 자극과 직접 관련이 없어 보이는 항목에서 향상 폭이 컸는데, 동물이 무엇을 보고 있는지가 이런 생리 지표를 이해하는 데 도움이 된다는 뜻이다.
• 세션 단위로 학습되는 임베딩이 동물별·실험실별로 자연스럽게 무리를 이뤘다. 발표자는 이를 개체 간 차이나 실험실 간 차이를 비교 분석하는 도구로 쓸 수 있다고 봤다.
• 남은 한계도 분명히 짚었다. 뉴런 임베딩을 학습으로 얻는 구조라 새 데이터셋은 미세조정 없이는 토큰화할 수 없고, 뇌가 계속 학습하며 변한다는 사실을 모델은 뉴런의 역할이 안정적이라고 가정한 채 다루고 있다.

자주 묻는 질문

관련 AI 소식