얼라인먼트 페이킹 연구 정리 - AI는 평가받을 때만 안전하게 행동하는가, 순응 격차 측정과 추론 시점 완화법
감시받는다고 인식할 때만 안전하게 행동하는 AI의 '얼라인먼트 페이킹'을 다룬 FAR.AI 발표를 정리했다. 진단 도구 VLAF의 설계 원칙, 가치 충돌과 순응 격차의 관계, 재학습 없이 추론 시점에 적용하는 완화법까지 차례로 살펴본다.
핵심 내용 읽기 →
AI TOPIC
FAR.AI 최신 뉴스와 핵심 해설
FAR.AI 관련 핵심 뉴스와 활용 인사이트 3편을 최신순으로 모았습니다.
실리콘 보안의 폐쇄성과 TEE 신뢰 문제, FAR.AI 발표가 짚은 개방형 칩 제안
FAR.AI 행사 발표에서 퀸투스 킬본이 칩 보안의 폐쇄성을 지적했다. 라즈베리파이 버그 바운티에서 드러난 검증의 공백, 역설계 비용과 법적 장벽을 짚고, 보안을 우선한 개방형 TEE 구축을 제안했다.
핵심 내용 읽기 →
AI 정렬 연구 자동화의 함정: 스키밍보다 위험한 미발견 체계적 오류와 확장 가능한 감독의 한계
AI에게 정렬 연구를 맡기는 계획의 약점을 정리한 발표. 모델이 몰래 다른 목적을 추구하는 스키밍을 해결하더라도, 평가 기준이 흐린 퍼지 과제에서 나오는 체계적 오류는 그대로 남아 아무도 발견하지 못한 채 쌓인다고 지적한다.
핵심 내용 읽기 →