AI 에이전트 보안 평가 b3 벤치마크 - 공격 20만 건으로 백본 LLM 30종을 검증하다

핵심 메시지

• AI 안전(safety)은 '사용자가 다칠 수 있는가', AI 보안(security)은 '시스템이 공격당할 수 있는가'를 묻는 서로 다른 질문이다.
• 챗봇 시대의 사고는 대개 평판 손상에 그쳤지만, 도구와 MCP를 쥔 에이전트 시대에는 실제 인프라와 데이터가 지워지는 수준으로 피해 반경이 커졌다.
• 전체 워크플로를 샌드박스에서 끝까지 돌리는 대신 한 단계씩 잘라내 공격을 주입하는 '위협 스냅샷' 방식이면 훨씬 싸고 빠르게 취약점을 잴 수 있다.
• 공개된 게임에서 모은 약 20만 건의 공격 중 잘 일반화되는 것만 골라 30종이 넘는 LLM을 평가했고, 모델 계열과 위험 범주에 따라 성적이 크게 갈렸다.
• 모델이 크다고 더 안전하지는 않았다. 추론을 켜는 쪽이 보안에 도움이 됐고, 벤치마크 점수와 보안성은 어느 정도만 비례했다.

쉽게 이해하기

AI Safety Poland 웨비나에 라케라(Lakera AI)의 시니어 리서치 엔지니어 율리아 바진스카(Julia Bazińska)가 나와 ICLR 2026에 채택된 논문 'Breaking Agent Backbones'를 소개했다. 발표는 안전과 보안을 갈라놓는 데서 시작한다. 브레이크가 듣지 않아 타는 사람이 다치는 것이 자전거의 안전 문제라면, 자물쇠가 허술해 누가 훔쳐 가는 것은 보안 문제다. LLM 애플리케이션에서도 '사용자가 해를 입을 수 있는가'와 '시스템 자체가 공격당할 수 있는가'는 다른 질문이라는 것이다.

이 구분이 최근 훨씬 중요해진 이유는 시스템의 형태가 바뀌었기 때문이다. 챗GPT 이후 한동안 기업들이 만든 것은 사람이 최종 결과를 읽는 챗봇이었고, 사고가 나도 데이터 유출이나 '모델을 구슬려 이상한 말을 시키고 스크린샷을 퍼뜨리는' 평판 손상 수준이었다. 그러나 최근 1년 사이 도구와 MCP 서버가 붙으면서 에이전트가 직접 무언가를 실행하게 됐다. 발표에서는 인프라 관리를 에이전트에 맡겼다가 데이터베이스가 담긴 볼륨이 통째로 지워져 데이터를 전부 잃었다고 밝힌 기업 사례가 언급됐다.

문제는 이런 시스템의 견고함을 재는 일이 비싸다는 점이다. 딥 리서치 에이전트를 검증하려면 사용자 입력이나 검색 결과에 악성 데이터를 심고 계획 수립부터 보고서 작성까지 전체 루프를 돌려야 하는데, 느리고 비싼 데다 가짜 데이터를 채운 완전한 샌드박스가 필요하다. 논문이 제안한 '위협 스냅샷'은 워크플로를 단계별로 잘라, 다음 한 걸음에 필요한 모든 문맥에 공격 목표·공격 경로·성공 판정 기준을 붙여 하나의 시험 단위로 만든다. 그러면 도구를 실제로 실행하지 않고도 에이전트를 상태 없는 존재처럼 다루며 한 단계만 시험할 수 있다.

이 방식은 어느 단계가 약한지 바로 알려주지만, 부품별 취약성으로 전체 시스템의 취약성을 추정할 뿐이라는 한계가 있다. 발표자는 종단 간 평가가 통합 테스트라면 위협 스냅샷은 단위 테스트에 해당하며 중요한 곳에는 둘 다 필요하다고 못 박았다. 데이터는 라케라가 3년 전 공개한 프롬프트 인젝션 게임 간달프의 후속판에서 모았고, 서로 다른 맥락·공격 경로·난이도·위험 범주를 아우르는 10개 애플리케이션에 논문 작성 시점까지 약 20만 건의 공격이 쌓였다. 여기서 일반화가 잘 되는 공격만 추려 취약성 점수를 만들고 30종이 넘는 LLM을 평가한 것이 b3 벤치마크다.

결과에서는 클로드 계열이 가장 견고했고, 유해 콘텐츠 생성 경향으로 알려진 그록 계열이 조작형 공격에는 의외로 잘 버텼다. 오픈 웨이트 모델은 한 단계 아래였지만 발표자는 해석에 주의를 달았는데, 오픈 웨이트는 모델만 평가하는 반면 상용 API는 방어층까지 포함한 시스템 전체를 평가하는 셈이기 때문이다. 실제로 앤트로픽 API를 두드리다 응답이 1분 가까이 걸린 적이 있고 답변에 추가 검사가 걸린 흔적으로 봤다고 했다. 위험 범주별로 순위가 뒤집히기도 했는데, 그록은 시스템 정보를 빼내는 공격에는 강했지만 사용자 지시로 시스템 지시를 덮어쓰는 공격에는 눈에 띄게 약했다.

주요 인사이트

• '가장 안전한 LLM' 하나를 뽑는 질문 자체가 성립하지 않는다. 같은 모델이 위험 범주에 따라 최상위와 하위를 오갔으므로, 자기 서비스가 실제로 마주할 공격 유형을 정해 놓고 그 맥락에서 평가해야 한다.
• 규모가 보안을 보장하지 않는다. 같은 계열 안에서 모델을 키운다고 취약성이 줄어드는 뚜렷한 경향은 없었고, 오히려 추론을 켜는 쪽이 더 안전해지는 흐름이 관찰됐다.
• 성능과 보안은 상관관계가 있을 뿐 같은 축이 아니다. 종합 벤치마크 점수가 높을수록 덜 취약한 경향은 있었지만, 성능은 좋은데 취약한 모델과 성능은 평범한데 견고한 모델이 양쪽에 상당수 존재했다.
• 오픈 웨이트 모델을 쓴다면 '가드레일까지 내가 붙여야 한다'는 뜻으로 읽어야 한다. 상용 API의 좋은 점수에는 모델 밖의 방어층이 이미 포함돼 있기 때문이다.
• 발표자는 크라우드소싱한 공격 데이터의 유효 기간을 스스로 문제 삼았다. 공급자가 이 데이터를 학습에 쓰면 점수의 공정성이 무너지므로, 공격 생성을 자동화하는 방향이 다음 과제로 남았다.

자주 묻는 질문

관련 AI 소식