LLM 추론의 한계와 다음 단계: 강화학습이 증폭만 하는 이유와 에이전트의 불확실성 문제

핵심 메시지

• 발표자 연구팀의 메타분석에 따르면 사고 사슬 기법은 널리 쓰이지만 실제로 크게 도움이 되는 영역은 수학과 기호적 추론에 거의 국한됐다. 상식 판단이나 사실 회상에서는 중간 단계를 늘려도 별 이득이 없었다.
• 요즘 추론 모델을 만드는 표준 절차인 강화학습은 모델이 원래 가지고 있던 여러 전략 중 가장 잘 통하는 하나를 골라 증폭하는 데 가깝다. 그 과정에서 출력의 다양성은 오히려 줄어든다.
• 열 번 시도해 한 번도 못 푸는 문제에서는 강화학습이 배울 신호 자체가 없다. 모델에 아예 없는 능력은 이 방식으로 생기지 않는다는 것이 발표의 핵심 주장이다.
• 연구팀은 모델이 틀린 답을 낸 뒤 스스로 되짚어 고치는 장면을 인위적으로 이어 붙인 데이터를 소량 학습시켜, 강화학습이 증폭할 자기수정 능력을 미리 심었다. 더 강한 모델의 출력을 베끼는 방식과 맞먹는 성적을 냈다.
• 코드를 실행하고 결과를 보고 다시 판단하는 에이전트 영역은 사전학습 데이터가 훨씬 적어 개선 곡선이 완만하다. 발표자는 여기를 현재의 프런티어로 지목했다.

쉽게 이해하기

우주 기원 연구를 다루는 미국 국립과학재단·사이먼스 재단 연구소 세미나에서 뉴욕대 그레그 더렛 교수가 대규모 언어모델의 추론을 주제로 강연했다. 그는 오늘날 사용자가 모델에 기대하는 일이 단순 사실 확인이 아니라, 주어진 맥락에서 정보를 뽑아내고 그것을 종합해 판단하는 일로 옮겨 갔다고 짚으며 시작했다. 몇 해 전 요약 과제에서 심각했던 환각 문제는 크게 개선됐지만, 뽑아낸 정보로 무엇을 할 것인가는 여전히 어려운 문제다.

그는 지난 몇 년의 발전을 이끈 동력이 새로운 신경망 구조가 아니라 데이터였다고 설명했다. 모델을 평가해 약한 영역을 찾고, 그 영역의 데이터를 더 모으거나 합성해 다시 훈련하는 반복이 표준 절차가 됐다는 것이다. 다만 이 방식이 통하지 않는 영역도 분명히 있다. 그는 모델이 클수록 흔한 미신을 더 잘 따라 하는 현상, 사람 피드백 기반 학습이 어긋나 답변만 길어지는 현상, 사용자의 말에 무작정 동조하는 아첨 문제를 예로 들었다.

강연의 앞부분은 사고 사슬 기법에 관한 것이다. 심리학의 이중 처리 이론에 빗대면, 즉각적으로 답을 뱉는 대신 중간 과정을 글로 풀어내며 푸는 쪽에 해당한다. 그런데 연구팀이 여러 데이터셋과 100편이 넘는 논문을 분석해 보니, 이 기법의 이득은 수학처럼 계산이 개입하는 문제에 몰려 있었다. 사람과 사람 사이의 상황을 판단하는 문제나 아는지 모르는지가 전부인 지식 문제에서는 중간 단계를 늘려도 소용이 없었다.

이어서 그는 추론 모델을 만드는 현재의 절차를 짚었다. 사전학습된 모델에 문제와 풀이 과정을 지도 학습시키고, 그다음 강화학습 단계에서 여러 번 풀게 해 성공한 방식을 강화한다. 문제는 이 구조가 모델이 처음부터 어느 정도 풀 수 있다는 전제 위에 서 있다는 점이다. 여러 후속 연구가 강화학습 뒤 출력 형식이 하나로 수렴하고 무작위성이 붕괴한다는 점, 원 능력 자체는 크게 늘지 않는다는 점을 보고했다고 그는 전했다.

그래서 연구팀은 없던 능력을 어떻게 심을 것인가를 물었다. 방법은 단순했다. 모델이 만든 틀린 답 뒤에 '잠깐, 실수했으니 다시 해 보자'는 전환과 올바른 풀이를 이어 붙인 합성 데이터를 만들어 지도 학습 단계에 넣은 것이다. 이렇게 자기수정의 씨앗을 심어 두면 이어지는 강화학습이 그 행동을 증폭한다. 결과적으로 소량의 데이터만으로, 더 강한 모델의 출력을 대량으로 베껴 학습시킨 경우와 비슷한 성적에 도달했다.

주요 인사이트

• 더 강한 모델의 출력을 받아 학습하는 증류는 성적을 올리지만, 원하는 능력을 이미 가진 모델이 어딘가에 존재해야 하고 상용 모델의 경우 이용약관에도 걸린다. 발표자는 남이 푼 문제를 베끼는 셈이라 과학적으로 만족스럽지 않다고 평했다.
• 수학 문제는 웹에 자료가 넘치지만, '너는 지금 이 저장소를 다루는 에이전트이고 다음에 무엇을 할 것인가' 같은 데이터는 사전학습에 거의 들어 있지 않다. 에이전트 능력의 개선이 더딘 이유를 발표자는 여기서 찾았다.
• 에이전트에게 필요한 것은 자신이 무엇을 모르는지 아는 감각이다. 익숙한 형식의 파일이면 바로 읽어 들이는 편이 효율적이지만, 낯선 형식이면 먼저 내용을 들여다봐야 한다. 이 판단을 모델이 명시적으로 하게 만드는 것이 연구팀의 접근이다.
• 불확실성을 명시적으로 추정하게 하자 에이전트가 행동의 비용과 성공 가능성을 저울질하는 모습을 보였고, 정확도와 효율의 균형에서 기존 방식보다 나은 지점에 도달했다.
• 발표자는 마지막으로 모델이 과학적 아이디어를 스스로 낼 수 있는지에 관심을 두고 있다고 밝혔다. 이미 아는 개념들 사이에 새로운 연결을 만드는 연상적 창의성을 측정하는 과제를 설계했으며, 아직 논문 공개 전이라 자세한 내용은 밝히지 않았다.

자주 묻는 질문

관련 AI 소식