IonQ·NVIDIA·qBraid 3사, 양자 화학 시뮬레이션 논리 오류율 54% 감소 시연

문제 배경: 깊은 트로터 딜레마

페르미온계 화학·재료 시뮬레이션은 연속적인 시간 진화를 게이트 시퀀스로 분해하는 트로터화 기법에 의존한다. 그러나 NISQ 환경에서 트로터 단계가 깊어질수록 물리적 노이즈가 누적되어 신호가 지수적으로 훼손된다는 근본적 한계가 있다. 이번 연구는 이 문제를 회로 설계 수준과 하드웨어 실시간 개입이라는 두 축에서 동시에 접근했다.

3가지 핵심 기술 구성

연구팀은 상호 보완적인 세 가지 기술을 결합했다.

첫째, 일반화 초고속 인코딩(GSE) 은 기존 조던-위그너 변환에서 발생하는 비지역적 긴 연산자 체인을 지역화된 마요라나 루프 안정화자(Majorana loop stabilizer) 기반 인코딩으로 대체한다. 이는 회로 깊이를 줄이는 동시에 고유한 오류 감지 구조를 내장한다.

둘째, 클리포드 노이즈 감소(CliNR) 프로토콜은 검증된 벨 상태와 클리포드 자원 상태를 준비한 뒤 지역 안정화자를 측정하고, 오류가 전파되기 전에 클리포드 연산을 데이터 레지스터로 텔레포트한다.

셋째, 능동적 회로 중간 측정(MCM) 은 연산 완료를 기다리지 않고 알고리즘 실행 도중 보조 큐비트를 측정·초기화·재사용하면서 오염된 연산을 동적으로 폐기하거나 수정한다.

하드웨어는 IonQ의 바륨(Barium) 기반 개발 시스템(향후 출시 예정인 IonQ Tempo 아키텍처에 준하는 사양)과 NVIDIA GH200 그레이스 호퍼 슈퍼칩을 결합한 하이브리드 구성을 사용했다. 소프트웨어는 CUDA-Q와 cuStabilizer 라이브러리를 활용했다.

능동 측정의 결정적 역할

실험에서 주목할 만한 점은 안정화자 판독을 회로 말단으로 미루는 수동 후처리(passive post-selection) 방식을 적용했을 때 54%의 충실도 개선 효과가 완전히 사라졌다는 것이다. 이 결과는 성능 향상의 원인이 단순한 고전적 후처리 과정이 아니라, 회로 실행 중 실시간으로 이루어지는 능동적 결함 감지에 있음을 명확히 보여준다.

ML 기반 안정화자 선택

깊은 회로에서 어떤 안정화자 쌍을 측정할지 선택하는 조합론적 문제를 해결하기 위해 연구팀은 NVIDIA GH200 GPU 위에서 머신러닝 모델을 훈련했다. 학습에는 그래프당 992쌍, 총 57,536개 샘플이 사용됐으며, 추론 단계에서 10⁵개 후보 안정화자 쌍을 빠르게 평가해 최적 검증 연산자를 선별했다. 이 접근은 무작위 선택 전략 대비 유의미한 성능 우위를 보였다.

의미와 한계

이번 연구는 인코딩 설계, 실시간 오류 감지, GPU 가속 ML 선택을 통합한 응용 지향 오류 경감 체계를 제시한다는 점에서 주목된다. 다만 현재 검증은 6큐비트 규모에 한정되어 있으며, 더 큰 시스템으로의 확장 가능성과 실용적인 오버헤드 비용은 후속 연구에서 검증이 필요하다. 논문은 arXiv를 통해 공개됐다.