Harvard·Anthropic·QuEra, LLM 진화 탐색으로 내결함성 양자회로 TQ비용 최대 9,100배 절감

연구 배경: LLM이 양자회로 아키텍처를 설계하다

내결함성 양자 컴퓨팅에서 알고리즘의 실질적 실행 비용은 큐비트 수뿐 아니라 TQ비용, 즉 Toffoli 게이트 수(T)와 최대 큐비트 점유량(Q)의 곱으로 측정된다. 세 기관 연구팀은 Anthropic의 Claude를 핵심 탐색 엔진으로 삼아, LLM이 완전한 Python 프로그램 단위로 전혀 다른 알고리즘 계열의 회로를 스스로 제안·구현하도록 하는 진화적 프레임워크를 구축했다. 기존 자동 최적화 도구들이 고정된 회로 그래프 위에서 게이트 수준의 국소 수정만 수행하는 방식에 그쳤다면, 이 접근은 알고리즘 구조 자체를 바꾸는 단계로 나아간다.

프레임워크 구조: 제안-검증-진화의 반복

프레임워크는 세 단계 루프로 작동한다. Claude가 회로 코드를 제안하면 독립적인 고전 평가기가 kickmix 모델로 기저 상태 궤적을 시뮬레이션하고 위상 킥백을 추적해 회로의 정확성을 검증한다. 검증을 통과한 후보는 TQ비용으로 점수를 받고, 우수한 후보들이 다음 세대 탐색의 시드로 활용된다.

이 진화 과정에서 세 가지 공동설계 원리가 반복적으로 나타났다. 첫째, 분기마다 별도로 수행하던 조건부 산술 블록을 제거하고 제어 SWAP 게이트로 데이터를 단일 공유 산술 블록에 라우팅하는 방식이다. 둘째, 대규모 큐비트 이력 스택 대신 중간 산술 레지스터의 수학적 불변량에서 분기 결정을 직접 해독하는 방법이다. 셋째, 최악의 경우가 아닌 일반 입력 분포에 맞춰 스택 크기를 설정하고 약 10⁻⁴의 허용 실패율을 도입해 보조 큐비트 수백 개를 절감하는 전략이다.

8개 서브루틴 결과: 최대 9,100배 절감

가장 극적인 성과는 Hermitian 코드 DQI 디코더에서 나왔다. AI는 원시 영공간 행렬 저장 방식을 인플레이스 Lanczos 점화식과 스트라이프 위상 스캔으로 대체했고, 그 결과 최대 큐비트 수가 약 19만 개에서 2,395개로, Toffoli 수가 1억 개에서 93만 개로 줄면서 TQ비용이 9,100배 이상 감소했다. 수치 함수 계열(HHL 회전각, 쿨롱 퍼텐셜, 고정소수점 가우스 함수)에서는 폭이 넓은 곱셈 연산을 이진 멱수 정렬 룩업과 직접 누산기 갱신으로 바꿔 9.9~39배의 절감을 기록했다. Reed-Solomon DQI 디코더, Fe₂S₂ 화학 시뮬레이션, 비가환 격자 게이지 시뮬레이션에서도 각각 12배, 4.1배, 7.7배의 개선이 확인됐다.

소수체 모듈러 역수: 새 아키텍처의 탄생

여덟 번째 과제인 암호학·정수론용 소수체 모듈러 역수 연산에서는 특히 주목할 만한 발견이 이루어졌다. 고전 상수 시간 알고리즘인 divsteps는 이력 저장 오버헤드 문제로 양자 환경에 적용이 불가능한 것으로 여겨졌다. 연구팀의 AI가 2진 아딕 수학적 불변량을 도출함으로써, 모호한 분기 결정의 87.6%를 갱신된 레지스터에서 직접 해독하고 나머지 12.4%만 60큐비트 소형 스택에 저장하는 새로운 가역 아키텍처를 발견했다. 이를 통해 Toffoli 수와 큐비트 점유량 사이의 연속적인 트레이드오프 곡선도 처음으로 제시됐다.

의의와 한계

이번 연구는 LLM이 코드 자동완성 도구를 넘어 인간 전문가도 발견하지 못한 알고리즘 수준의 양자회로 구조를 독자적으로 탐색할 수 있음을 보여준다. 단, 현재 검증은 시뮬레이션 환경에 한정되어 있으며, 실제 하드웨어에서의 노이즈 영향 및 대규모 회로로의 확장 가능성은 후속 실험적 검증을 필요로 한다.