Anthropic·하버드 연구진, Claude Mythos 5로 양자회로 Toffoli 게이트 12분의 1 감축

연구 배경: 알고리즘 효율화가 하드웨어만큼 중요한 이유

대형 양자컴퓨터를 구현하는 경쟁과 별개로, 알고리즘 수준에서의 자원 절감은 유용한 양자 계산을 앞당기는 또 다른 경로다. 양자회로는 큐비트에 순차적으로 적용하는 연산의 집합이며, 큰 알고리즘은 산술, 데이터 검색, 수치 함수 계산 등 소규모 루틴에 의존한다. 이 루틴들의 비용이 줄면 전체 계산 요구량도 낮아진다.

문제는 가역성이다. 양자회로는 중간 계산 결과를 임의로 덮어쓸 수 없으며, 이른바 '비계산(uncomputation)' 과정을 통해 임시 결과물을 지워야 한다. 임시 데이터를 저장할수록 큐비트 수가 늘고, 반대로 일찍 지울수록 연산을 반복해야 해 게이트 수가 증가한다. 이 두 비용 사이의 균형이 회로 설계의 핵심 난제다.

AI 기반 설계 방법론

연구팀은 Claude에 프로그래밍 도구와 회로 평가기를 함께 제공했다. 평가기는 제안된 회로의 정확성을 검사하고 Toffoli 게이트 수와 최대 큐비트 수의 곱으로 자원 점수를 산출했다. AI 모델은 이 점수를 피드백 삼아 설계를 반복 수정했다. 타원 곡선 산술 회로 설계에는 53시간이 소요됐고, 인간 개입은 초기 지시와 가끔의 탐색 확장 촉구에 그쳤다.

연구팀은 AI가 여러 알고리즘 방향을 병렬로 개발하도록 유도했으며, 유망한 아이디어는 접근법 간에 공유됐다. AI가 찾아낸 핵심 전략은 세 가지였다. 첫째, 별도 기록 없이 현재 계산 상태에서 정보를 역으로 복원하는 방식, 둘째, 서로 다른 계산 경로가 동일한 산술 연산을 공유하게 하는 방식, 셋째, 드물게 발생하는 극단적 입력에 대비한 자원 예비분을 확률적으로 줄이는 방식이다.

주요 성과: 복호화 회로와 모듈러 역산

8가지 과제 중 가장 두드러진 성과는 복호화된 양자 간섭계(DQI) 내부의 복호화 루틴 재설계다. 연구팀의 AI는 기존 확장 유클리드 알고리즘 기반 설계를 Berlekamp–Massey 방법으로 대체했다. 단순 가역 구현 시 방대한 중간 저장이 필요하지만, AI 설계는 정보를 필요 시 재구성하는 방식으로 저장 수요를 크게 낮췄다. 특히 최악 조건에서 665큐비트가 필요하던 저장 요구를 19큐비트로 줄이는 대신, 특정 희귀 입력에서 실패를 허용하는 확률적 접근을 택했다. 입력 분포상 추가 저장이 필요한 경우는 1만분의 1 수준이다. 그 결과 전체 Toffoli 게이트 수는 약 12분의 1로 감소했다.

모듈러 역산(타원곡선 암호 관련 양자 알고리즘의 핵심 연산) 분야에서는 'divsteps'라는 기존 산술 방법의 가역 구현을 개발했다. 이전에는 메모리 요구 때문에 효율적 양자 구현이 어려웠는데, AI는 중간 결정들을 남은 수치 패턴에서 복원할 수 있음을 발견했고 연구팀은 이를 수학적으로 증명했다. 이 벤치마크 회로는 약 400만 Toffoli 게이트와 935큐비트를 사용한다. 고정소수점 가우스 함수 회로는 게이트 수와 큐비트 수의 곱을 39배 줄였으며, 선형 방정식 수치 루틴은 같은 지표에서 32배 개선됐다.

한계와 검증 방식

연구팀은 이 결과가 실제 양자 하드웨어에서의 구동 시연이 아닌, 고전 컴퓨터 기반 계산 검증과 자원 추정에 근거함을 명시했다. 실제 실행 비용은 게이트·큐비트 수 외에 하드웨어 연결성, 연산 스케줄링, 오류 정정 방식에도 영향을 받으므로, 이 연구의 지표가 모든 기기에서 최적을 보장하지는 않는다. 비교 기준점에도 주의가 필요하다. 8가지 중 허미션 부호 복호기의 경우 기존 가역 구현 선례가 없어 단순 가역 변환을 기준으로 삼았다.

AI의 한계도 확인됐다. 초기 실험에서 Claude는 검증된 기존 방식을 선호하고, 이미 충분히 확인된 개선에 대해서도 반복 검사를 이어가는 경향을 보였다. 연구팀이 병렬 방향 탐색과 외부 촉구를 도입한 뒤에야 가역 모듈러 역산의 새로운 접근법이 나왔으며, 이후 AI는 해당 설계의 개발·구현·검증을 자율적으로 진행했다.

향후 과제

연구팀은 향후 알고리즘·오류 정정 코드·물리적 아키텍처를 통합한 공동 최적화로 접근법을 확장할 것을 제안했다. 이를 위해서는 한 부분의 변화가 다른 부분의 자원 요구에 미치는 영향을 추적할 수 있는 평가기가 필요하며, 이는 여전히 응용·하드웨어 전문 지식이 요구되는 과제다.