비전 언어 모델 탈옥 연구: 이미지 속 사물을 바꿔 안전장치를 우회하는 네 가지 공격

핵심 메시지

• 오늘 쓰이는 주요 모델은 대부분 이미지와 글을 함께 처리하는 비전 언어 모델(VLM)이지만, 안전 정렬 연구와 방어는 여전히 글 쪽에 쏠려 있다는 문제 제기다.
• 위험한 사물을 바나나·당근 같은 무해한 사물로 바꿔 넣은 이미지를 여러 장 주고 "그림이 가리키는 그 물건"을 설명하라고 시키면, 모델이 원래 사물을 알아맞히면서도 거부 장치는 켜지지 않는 사례가 나왔다.
• 연구팀은 이 직관을 시각적 사물 치환, 시각적 텍스트 치환, 시각적 비유 수수께끼, 시각적 암호 네 가지 공격으로 자동화해 하름벤치(HarmBench) 데이터셋으로 평가했다.
• 작은 오픈소스 모델에서 성공률이 높았고 최신 상용 모델에서도 8~25% 수준의 성공 사례가 남았으며, 일부 모델에서는 같은 방식의 글 공격보다 이미지 공격이 더 잘 통했다.
• 실패의 상당수는 모델이 거부해서가 아니라 이미지를 잘못 읽어서 생긴 것이었고, 발표자는 시각 추론 능력이 좋아질수록 이 공격 경로가 더 위험해질 것으로 봤다.

쉽게 이해하기

AI 안전 폴란드(AI Safety Poland)의 격주 세미나에 얀 두빈스키(Jan Dubiński)가 연사로 나서, 이미지 입력을 통해 비전 언어 모델의 안전장치를 우회한 연구를 발표했다. 그는 NASK 국립연구소와 바르샤바 공과대학에서 생성 모델의 안전성을 연구하고 있으며, 이 작업은 케임브리지 AI 안전 허브의 MARS 프로그램에서 공동 연구자들과 함께 진행한 결과물이다.

발표는 먼저 용어부터 정리했다. 비전 언어 모델은 이미지를 잘라 시각 임베딩으로 바꾸는 인코더, 그 정보를 언어 모델 쪽으로 넘겨 주는 융합·연결 부분, 그리고 익숙한 언어 모델 디코더로 이뤄진다. 출력은 글이기 때문에 우리는 이 모델들을 그냥 "챗봇"으로 부르지만, 실제로는 대부분 이미지도 함께 처리하는 비전 언어 모델이라는 것이 발표자의 지적이다.

글로 위험한 요청을 하면 모델은 잘 거부한다. 그런데 위험한 사물이 등장하는 여러 상황을 담은 이미지에서 그 사물만 바나나로 바꿔 놓고 "바나나가 대신하고 있는 그 물건을 만드는 방법"을 물으면, 모델은 원래 사물이 무엇인지 정확히 알아맞히면서도 거부하지 않고 답을 이어 갔다. 영화 제목 속 단어를 바꿔 넣는 변형, 정답이 곧 위험한 행동이 되는 수수께끼를 푸는 변형에서도 비슷한 일이 벌어졌다.

연구팀은 이 우연한 성공을 재현 가능한 공격으로 다듬었다. 핵심 장치는 요청문에서 위험한 부분만 X1, X2 같은 기호로 빼내 "중립화된 요청문"을 만드는 것이다. 그 자체로는 수상하지 않은 문장을 모델에 주고, X1과 X2가 무엇인지는 이미지 쪽에서 복원하게 만든다. 이 방식으로 사물을 바꿔 넣은 이미지, 포스터의 단어를 바꿔 넣은 이미지, 비유 수수께끼, 그리고 기호로 문장을 암호화한 이미지 네 종류의 공격이 만들어졌다.

평가 결과는 갈렸다. 오픈소스 계열의 작은 모델에서는 성공률이 높았고 최신 상용 모델에서는 8~25%로 떨어졌지만, 발표자는 숫자 자체보다 "이미지가 별도의 공격 경로를 만든다"는 점을 강조했다. 글 공격과 이미지 공격이 성공하는 사례가 서로 겹치는 비율은 모델에 따라 10~70%로 제각각이었고, 최신 모델일수록 겹치는 부분이 오히려 작았다.

왜 통하는지에 대한 초기 해석도 소개됐다. 연구팀은 오픈소스 모델의 내부 표현이 "거부 방향"과 얼마나 닮았는지 층별로 비교했는데, 이미지 입력은 같은 내용의 글 입력보다 이 신호가 약했고 사물을 바꿔 넣은 이미지가 가장 약했다. 폭탄 이미지조차 폭발하는 바나나를 이야기하는 글보다 거부 신호가 덜 걸렸다는 것이다. 다만 발표자는 이것이 아직 초기 관찰이며 더 연구가 필요하다고 선을 그었다.

주요 인사이트

• 가장 성공률이 높았던 공격은 뜻밖에도 가장 만들기 쉬운 것이었다. 문장을 기호 열로 바꾸고 기호와 단어를 잇는 범례를 함께 주는 방식은 이미지 생성 모델도, 인터넷에서 찾은 사진도 필요 없이 코드 몇 줄로 만들 수 있고, 범례를 복잡하게 조절해 난이도까지 맞출 수 있다.
• 실패의 원인이 방어가 아니라는 점이 뒤집힌 대목이다. 오픈소스 모델은 이미지가 무엇을 뜻하는지 이해하지 못해 엉뚱한 답을 했을 뿐 거부는 거의 하지 않았고, 이해에 성공하면 대체로 응했다. 즉 시각 추론이 나아지면 방어가 아니라 공격이 강해지는 방향으로 움직인다.
• 자동화가 오히려 공격을 약하게 만들었다는 지적도 나왔다. 연구팀은 데이터셋 평가를 위해 이미지 생성과 판정을 모두 자동으로 돌렸는데, 사람이 직접 이미지를 고르고 다듬으면 성공률이 훨씬 올라간다고 봤다. 실제 공격자는 딱 한 번만 성공하면 되기 때문에 이 격차는 그대로 위험이 된다.
• 치환에 쓰는 사물 선택에도 요령이 있었다. 바나나·당근·물병처럼 그 상황에 놓이면 확실히 어색해 보이는 사물이 잘 통했고, 반대로 고양이처럼 그 자리에 있어도 자연스러운 사물은 모델이 "그냥 고양이"로 받아들여 효과가 떨어졌다. 형태를 알 수 없는 얼룩처럼 너무 추상적인 것은 모델을 혼란시켜 실패했다.
• 방어 관점의 결론은 분명하다. 글 입력의 안전 정렬은 지난 몇 년간 크게 개선됐지만 이미지 입력은 그만큼 다뤄지지 않았고, 그래서 같은 위험을 이미지로 감싸면 통과할 여지가 남는다. 안전 평가를 글 기준으로만 통과시키는 관행은 실제 위험을 과소평가하게 된다.

자주 묻는 질문

관련 AI 소식