Anthropic AI, 양자내성·대칭키 암호 알고리즘의 수학적 취약점 개선 공격 개발

연구의 성격: 구현 오류에서 수학적 기반 분석으로

Anthropic의 이번 연구는 이전에 Claude가 수행했던 소프트웨어 코드 취약점 탐색과는 질적으로 다르다. 기존 작업이 프로그래머의 구현 실수를 찾아내는 데 집중했다면, 이번에는 암호 체계의 수학적 구조 자체를 분석 대상으로 삼았다. 전자서명 체계는 사용자가 신뢰할 수 있는 웹사이트와 통신하는지 검증하는 핵심 기반이며, AES 같은 대칭키 알고리즘은 인터넷 트래픽과 금융 거래를 보호한다. 이 수학적 기반에서 약점이 발견된다는 것은 이론적으로 더 광범위한 보안 영향을 함의한다.

HAWK 보안 마진 절반 감소

HAWK는 NIST가 미래 양자컴퓨터의 위협에 대비하기 위해 평가 중인 격자(lattice) 기반 전자서명 후보다. Claude Mythos Preview는 HAWK의 격자 구조 내에서 기존에 알려지지 않은 수학적 대칭성을 발견했고, 이를 기반으로 이전보다 빠른 키 복구 방법을 도출했다. Anthropic에 따르면 이 공격은 유효 키 크기를 사실상 절반으로 줄이는 효과를 낸다. 대형 키 크기는 여전히 공격하기 어렵지만, 동등한 보안 수준을 유지하려면 키 크기를 두 배로 늘려야 해서 HAWK의 성능상 이점이 대부분 사라진다.

AI 모델이 이 공격을 개발·검증하는 데 약 60시간이 걸렸으며, API 사용 비용은 약 10만 달러로 추산된다. 인간 연구자의 개입은 프로젝트 관리와 연산 검증에 한정됐고 암호학 전문 지식은 거의 투입되지 않았다고 Anthropic은 밝혔다. 회사는 HAWK 개발자들과 사전 협의 후 공개했으며 책임 공개 절차를 준수했다고 강조했다.

AES 7라운드 버전 공격 200~800배 가속

두 번째 성과는 2001년 NIST가 표준으로 채택한 AES를 대상으로 한다. 단, 실제 운영에 쓰이는 10라운드 AES-128이 아닌 7라운드 축약 연구 버전에 한정된다. Claude는 중간값 저장·재사용 방식인 '미트 인 더 미들' 공격을 개선해 '뫼비우스 브리지(Möbius Bridge)'라 명명한 새로운 지문 기법을 개발했다. 이 기법은 기존 공격에서 2⁵⁶회의 추측 단계 하나를 제거해 속도를 200~800배 높였다.

다만 이 공격은 약 2¹⁰⁵개의 선택 평문 암호화를 확보할 수 있다는 가정 위에서 성립하며, 이는 학술 분석 맥락에서만 통용되는 전제다. 실제 환경에서는 실현 불가능하다. Anthropic은 Claude가 초기에는 AES가 이미 수십 년간 분석됐다는 이유로 개선 가능성이 낮다는 결론을 반복 출력했고, 연구진이 프롬프트를 수정해 점진적 개선이 아닌 새로운 아이디어 탐색을 유도한 뒤에야 수억 개의 토큰을 생성하며 공격을 발전시켰다고 설명했다.

검증 병목과 추가 연구 확장

이번 연구는 AI가 암호 연구에서 새로운 병목 지점을 만들어낼 수 있음을 보여준다. Claude가 AES 개선 공격을 약 1주일 만에 개발한 반면, 인간 연구자 두 명이 수학적 정확성을 확인하는 데는 거의 한 달이 걸렸다. 발견은 AI가, 검증은 사람이 담당하는 구조다.

Anthropic은 HAWK·AES 외에도 LEA 축약 버전에 대한 실용적 공격과 Serpent-128 축약 버전 전체 키 복구 공격을 개발했으며, Salsa20·Poseidon 해시 함수·SHA-1에서도 소규모 개선을 확인했으나 현재 추가 검증 중이라고 밝혔다. 이 결과들은 모두 완전한 운영 버전에는 해당되지 않는다.

CryptanalysisBench와 향후 과제

Anthropic은 ETH 취리히, 텔아비브 대학교, 하이파 대학교 연구자들과 협력해 언어 모델의 암호분석 역량을 측정하는 벤치마크 CryptanalysisBench를 공개했다. 회사는 AI가 새 암호 표준 배포 전 검토 과정에서 역할이 커질 것으로 예상하면서도, AI가 실제 운영 중인 시스템에 영향을 미치는 취약점을 발견할 경우 정부·산업계·학계가 어떻게 대응할지에 대한 별도의 논의가 필요하다고 짚었다.