심층 강화학습을 이용한 양자 회로 최적화: 다중 게이트 집합에 대한 응용
Quantum circuit optimization using deep reinforcement learning: Applications across multiple gate sets
Khoa Dang Tao, Sumin Jin, Muhammad Raza, Changhyoup Lee
Photo: Markus Spiske / Unsplash결정론적 교환·소거 알고리즘을 강화학습 환경에 내장해 양자 회로를 더 짧게 압축한다.
쉽게 풀면
양자컴퓨터는 오류에 매우 민감하기 때문에, 같은 계산을 더 적은 단계(게이트)로 수행할수록 실수가 줄어듭니다. 이 연구는 AI(강화학습)가 '쉬운 단순화'를 반복 학습하느라 시간을 낭비하지 않도록, 쉬운 부분은 규칙 기반 프로그램이 자동 처리하게 만들었습니다. 덕분에 AI는 어려운 최적화에만 집중할 수 있어, 훈련보다 5배 큰 회로에서도 두 배 많은 게이트를 제거하는 성능을 보였습니다.
한국어 초록
(1) **문제:** 잡음이 있는 중간 규모 양자(NISQ) 장치에서는 결어긋남과 잡음 때문에 양자 알고리즘 구현이 제한된다. 이를 완화하려면 동일한 기능을 더 짧은 회로로 구현해야 하며, 이를 위한 효과적인 회로 최적화 알고리즘이 필요하다. (2) **방법:** 기존 학습 기반 강화학습(RL) 에이전트는 결정론적 규칙으로 이미 해결 가능한 기초적 단순화를 재학습하느라 학습 용량을 낭비한다. 이를 해결하기 위해, 결정론적 '교환·소거(CR)' 알고리즘을 훈련 환경에 직접 내장한 RL+CR 프레임워크를 제안한다. 에이전트가 행동을 취할 때마다 CR 알고리즘이 기초적 교환과 상쇄를 자동으로 처리해, 에이전트가 비자명한 최적화에만 학습 역량을 집중하도록 한다. (3) **결과:** 범용 Clifford+T 기저와 CNOT+Pauli 기저 두 가지 게이트 집합에서 RL+CR이 표준 RL보다 모든 테스트 규모에서 더 짧은 회로를 생성했다. 훈련 회로(4큐비트)보다 5배 큰 20큐비트 Clifford+T 회로에서 RL+CR은 표준 RL 대비 두 배 많은 게이트를 제거했다. (4) **의의:** 소규모 회로로 훈련한 에이전트를 대규모 회로에 전이 적용할 수 있음을 보여, 향후 결함 허용 및 유틸리티 규모 양자 시스템의 컴파일·최적화 가속화에 기여할 수 있다.
전문가 노트
기존 연구 대비 위치
양자 회로 최적화는 규칙 기반(Qiskit, t|ket⟩ 등의 피핑홀 최적화), 위상 다항식 기법, ZX-계산(ZX-calculus), 그리고 최근의 학습 기반 방법으로 발전해 왔다. RL 기반 접근(예: DeepMind의 AlphaTensor-Quantum 계열 연구, Fosel et al. 2021 등)은 탐색 공간이 넓은 비자명한 최적화에서 잠재력을 보였으나, 학습 효율 문제—에이전트가 이미 알려진 단순 소거를 반복 학습—가 고질적 한계였다.
핵심 기여: RL+CR 하이브리드
본 연구의 핵심은 결정론적 CR 알고리즘을 MDP 전이 함수 내부에 삽입하는 것이다. 형식적으로, 에이전트 행동 이후 상태 전이를 로 정의함으로써, 보상 신호가 오직 CR로 처리 불가한 비자명한 최적화에만 집중된다. 이는 커리큘럼 학습 없이도 에이전트의 유효 탐색 공간을 축소하는 효과를 낸다.
핵심 가정 및 한계
- 두 게이트 집합(Clifford+T, CNOT+Pauli)에 한정되어, 연속 파라미터 게이트(RZ 등)를 포함한 범용 회로로의 확장성은 미검증.
- 20큐비트 일반화 결과는 고무적이나, 초록에서 훈련 분포와 테스트 분포의 차이가 어느 수준까지 허용되는지 명시적 분석은 불분명.
- RL 특성상 최적성 보장이 없으며, CR이 처리하지 못하는 전역적 구조(예: 위상 다항식 최적화)는 여전히 도전 과제.
후속 연구 함의
T-게이트 수(T-count) 최소화는 결함 허용 양자계산에서 자원 비용과 직결되므로, Clifford+T 최적화 성능 향상은 실용적 파급력이 크다. CR과 유사한 전처리기-학습기 분리 설계는 다른 조합 최적화 문제(예: 큐비트 라우팅, SWAP 삽입)에도 적용 가능한 일반 원리를 제시한다.
핵심 용어
원문 출처
원문 초록 (영문) 보기
The practical implementation of quantum algorithms on noisy intermediate-scale quantum devices encounters operational limitations due to decoherence and other sources of noise inherent in real hardware. To mitigate these errors while preserving the original functionality of the algorithm, shorter quantum circuits are therefore preferred. This motivates the development of effective quantum circuit optimization algorithms. Learning-based approaches have emerged as a leading candidate, yet existing autonomous agents remain inefficient, spending most of their training capacity rediscovering elementary reductions that deterministic rule-based methods already handle reliably. To address this challenge, we propose a reinforcement learning framework that embeds a deterministic Commutation-and-Reduction (CR) algorithm directly into the training environment. After every agent action, the CR algorithm automatically resolves elementary commutations and cancellations, enabling the agent to focus its learning capacity on the non-trivial optimizations where reinforcement learning adds real value. Empirical evaluation across two gate sets, the universal Clifford+T basis and the CNOT+Pauli basis, shows that RL+CR produces shorter circuits than a standard RL agent at all tested scales. We demonstrate that RL trained on smaller quantum circuits can be applied to larger quantum circuits. On 20-qubit Clifford+T circuits, five times larger than the training circuits, RL+CR removes twice as many gates as standard RL. This work provides a robust approach that could accelerate the compilation and optimization processes for future fault-tolerant and utility-scale quantum systems.