Google, 강화학습으로 Willow 프로세서 논리 큐비트 안정화 달성

문제 배경: 환경 드리프트와 교정 비용

결함 허용 양자 컴퓨팅(FTQC) 구현의 핵심 장벽 가운데 하나는 물리 게이트의 아날로그적 취약성이다. QEC 프로토콜이 제대로 작동하려면 물리 오류율이 이른바 결함 허용 임계값(약 10⁻³~10⁻²) 아래로 유지되어야 한다. 그러나 저주파 열적 요동, 계측 드리프트, 재료 결함 등이 복합적으로 작용하면 마이크로파 펄스 진폭·XY 주파수·CZ 결합 위상 등 개별 제어 라인에 대한 국소 교정값이 빠르게 무효화된다. 기존 방식은 시스템을 오프라인 상태로 전환해 수동 또는 물리 모델 기반 재교정을 수행했으며, 이는 운용 효율을 크게 저하시킨다.

핵심 설계: 오류 감지 신호를 학습 입력으로 전환

Google이 제안한 프레임워크는 QEC 과정에서 발생하는 이진 오류 감지 신호(패리티 플립 검출 이벤트)를 연속적 학습 입력으로 재활용한다. 직접적인 논리 오류율(LER) 추적은 코드 거리가 증가할수록 지수적으로 큰 데이터셋을 요구하는 한계가 있다. 이를 피하기 위해 연구팀은 프로세서의 시공간 감지 영역에 걸친 평균 오류 감지 이벤트 발생률을 효율적으로 계산 가능한 국소 대리 목적함수(C)로 정의했다.

정책 표현에는 인수분해된 다변량 가우시안 분포를 채택해 1,000개 이상의 제어 파라미터를 동시에 확률적으로 섭동한다. 감지 영역과 인접 제어 라인 사이의 희소한 국소 관계는 이분 인수 그래프(bipartite factor graph)로 모형화된다. 정책 기울기 갱신에는 PPO(근위 정책 최적화)와 엔트로피 정규화가 결합되어, 에이전트가 환경 드리프트를 추적하면서도 국소 최솟값에 수렴하지 않도록 탐색 분산(σ²)을 관리한다.

실험 결과: 성능 지표와 코드 유형별 검증

Willow 프로세서 위에서 거리-5 및 거리-7 표면 코드, 거리-5 색 코드(colour code) 세 가지 구성으로 실험이 수행됐다. 이미 전문가가 최적화한 프로세서에 RL 제어를 추가 적용했을 때 논리 오류율이 20% 더 억제됐다. 인위적 드리프트 프로파일(정현파·계단형·스트로보스코픽 변조)을 적용한 환경에서는 보완적 디코더 스티어링과 결합해 논리 안정성이 3.5배 향상됐다.

사이클당 평균 논리 오류율은 거리-7 표면 코드에서 7.72(9)×10⁻⁴(AlphaQubit2 신경망 디코더 사용), 거리-5 색 코드에서 8.19(14)×10⁻³로 측정됐으며, 각 코드 유형에서 기록적인 수치라고 연구팀은 밝혔다.

확장성 전망과 한계

약 40,000개의 독립적 제어 파라미터를 다루는 거리-15 표면 코드에 대한 수치 시뮬레이션에서는 기울기 하강 수렴률(γ)이 지수 법칙을 따르며 전체 시스템 크기와 무관하게 유지됨이 확인됐다. 이는 인수 그래프의 국소 희소성에서 비롯된 특성으로, 수만 개 물리 큐비트 규모의 결함 허용 시스템으로 전환할 때 제어 계층이 예측 가능하게 확장될 수 있음을 시사한다.

다만 현재 결과는 Willow 특정 아키텍처를 기반으로 하며, 타 플랫폼(이온트랩, 광자 등) 적용 가능성은 별도 검증이 필요하다. 또한 논문이 발표한 성능 수치가 실제 오류 정정 임계값 이하의 안정적 양산 운용과 동일하지는 않으며, 결함 허용 컴퓨팅 실현까지는 추가 연구 과제가 남아 있다.