인공지능 스타트업 앤트로픽(Anthropic)이 자사의 최신 고성능 모델인 클로드 페이블 5(Claude Fable 5)의 출시와 함께, 악의적인 사이버 보안 오용을 막기 위한 강력한 안전장치 기술과 탈옥(Jailbreak) 취약점의 위험도를 객관적으로 평가할 수 있는 새로운 합의 프레임워크를 공개했습니다. 사이버 보안 분야는 방어와 공격 양면에 모두 사용될 수 있는 이중 용도(Dual-use)의 특성을 지니고 있어, 앤트로픽은 페이블 5에 업계 최고 수준의 엄격한 실시간 안전 분류기(Safety Classifiers)를 도입했습니다. 이 시스템은 단순한 취약점 검색이나 자동화된 익스플로잇(Exploit) 생성 등 위험성이 높은 요청을 실시간으로 감지하고 차단하는 역할을 수행합니다.
특히 앤트로픽은 잠재적 위험을 최소화하기 위해 정상적인 요청까지 일부 차단할 수 있는 대규모 안전 마진(Safety Margin)을 설정하여 방어 시스템을 구축했습니다. 악의적인 사용자가 우회 기법을 사용하는 탈옥 시도에 대응하기 위해, 모델의 자체 거부 훈련, 사후 모니터링, 실시간 분류기 등으로 구성된 심층 방어(Defense in depth) 전략을 채택했습니다. 최근 아마존 연구진이 발견한 취약점 분석 우회 사례와 같이 완벽한 차단이 어려운 비보편적 탈옥(Non-universal jailbreak)에 대해서는, 새로운 분류기를 신속히 업데이트하여 해당 우회 기술을 99% 이상 차단하는 기술적 보완을 완료했다고 밝혔습니다.
더불어 앤트로픽은 아마존, 마이크로소프트, 구글 등 글로벌 빅테크 파트너들과 함께 AI 모델의 탈옥 심각도를 정량적으로 측정할 수 있는 업계 최초의 표준 평가 기준을 제안했습니다. 이 프레임워크는 취약점이 유래한 역량의 향상 정도(Capability gain), 공격 기술의 범용성(Breadth), 무기화 용이성(Ease of weaponization), 그리고 발견 가능성(Discoverability)의 4가지 축을 기준으로 삼습니다. 이를 통해 소프트웨어 취약점 평가 기준인 CVSS 점수처럼 AI 보안 위협을 객관적으로 분류하고 공동 대응할 수 있는 글로벌 표준 생태계를 마련해 나갈 방침입니다.
주요 요약
앤트로픽이 최신 AI 모델의 사이버 공격 악용을 방지하기 위해 실시간 안전 분류기와 확장된 안전 마진을 결합한 심층 방어 체계를 구축했습니다.
우회 공격 기술인 탈옥의 위험 수준을 객관적으로 측정하기 위해 역량 향상, 범용성, 무기화 용이성, 발견 가능성을 포함한 4대 평가 기준을 수립했습니다.
아마존, 마이크로소프트, 구글 등 주요 클라우드 및 AI 파트너사들과 손잡고 글로벌 AI 보안 위협에 공동 대응하기 위한 표준 프레임워크를 정립해 나갈 예정입니다.
You don't have permission to write comments