변분 양자 고유값 계산(VQE): 하이브리드 양자-고전 알고리즘

VQE(Variational Quantum Eigensolver)는 변분 원리를 기반으로 매개변수화된 양자 회로(앙사츠)와 고전 최적화기를 반복 결합하여 해밀토니안의 바닥 상태 에너지를 추정하는 하이브리드 알고리즘이다. NISQ 시대의 대표적 양자 알고리즘으로, 양자 화학·재료 과학 분야에서 분자 에너지 계산에 폭넓게 응용된다.

개념 소개

변분 양자 고유값 계산(Variational Quantum Eigensolver, VQE)은 주어진 해밀토니안 $H$ 의 최소 고유값, 즉 바닥 상태 에너지 $E_{0}$ 를 추정하기 위한 하이브리드 양자-고전 알고리즘이다. 광자 기반 양자 프로세서에서 처음 시연된 이후 NISQ(Noisy Intermediate-Scale Quantum) 시대를 대표하는 알고리즘으로 자리잡았다.

완전한 양자 위상 추정 알고리즘은 깊은 회로와 높은 오류 허용 요건을 필요로 하지만, VQE는 얕은 양자 회로와 고전 컴퓨터의 최적화 능력을 결합함으로써 현재의 노이즈 있는 하드웨어에서도 실용적으로 동작한다. 이 점이 VQE가 NISQ 장치에 적합한 핵심 이유다.

핵심 원리

변분 원리

양자역학의 변분 원리에 따르면, 임의의 시험 상태 $∣ ψ (θ)⟩$ 에 대해 해밀토니안의 기댓값은 바닥 상태 에너지의 상한(upper bound)이 된다.

$E (θ) = ⟨ ψ (θ) ∣ H ∣ ψ (θ)⟩ \geq E_{0}$

따라서 매개변수 $θ$ 를 최적화하여 $E (θ)$ 를 최소화하면, 그 최솟값이 $E_{0}$ 에 수렴한다.

앙사츠(Ansatz): 매개변수화 양자 회로

시험 상태는 매개변수화된 양자 회로로 준비된다.

$∣ ψ (θ)⟩ = U (θ) ∣0 ⟩^{\otimes n}$

앙사츠의 선택은 VQE 성능을 좌우하는 핵심 설계 요소다.

하드웨어 효율 앙사츠(HEA): 하드웨어 연결 구조를 직접 반영한 얕은 회로. 노이즈에 강하나 물리적 의미가 약하다.
유니터리 결합 클러스터(UCC): 양자 화학의 결합 클러스터 이론에서 유래. UCCSD(Singles and Doubles)가 대표적이며 화학적 정확도를 제공하지만 회로가 깊다.

파울리 분해와 기댓값 측정

분자 해밀토니안은 파울리 연산자의 선형 결합으로 표현된다.

$H = i \sum c_{i} P_{i}, P_{i} \in {I, X, Y, Z}^{\otimes n}$

각 파울리 항의 기댓값을 양자 회로의 반복 측정으로 추정한 뒤 가중합산하여 $E (θ)$ 를 얻는다.

고전 최적화 루프와 파라미터 이동 규칙

측정 결과를 고전 컴퓨터에 피드백하여 $θ$ 를 갱신하는 외부 루프가 VQE의 핵심 구조다. 기울기 기반 방법에서는 **파라미터 이동 규칙(Parameter-Shift Rule)**을 사용해 양자 회로에서 직접 편미분을 계산한다.

$\frac{\partial E}{\partial θ _{k}} = \frac{E ( θ _{k} + \frac{π}{2} ) - E ( θ _{k} - \frac{π}{2} )}{2}$

기울기 없는 방법(COBYLA 등)은 노이즈 환경에서 더 강건하게 동작하는 경우가 많다.

예시·응용

수소 분자(H₂) 바닥 상태 에너지 계산

H₂는 VQE의 교과서적 벤치마크다. STO-3G 기저 집합에서 2큐비트로 축약된 해밀토니안을 사용한다. 아래는 Qiskit을 이용한 구현 예시다.

from qiskit.circuit.library import TwoLocal
from qiskit.quantum_info import SparsePauliOp
from qiskit_algorithms import VQE
from qiskit_algorithms.optimizers import COBYLA
from qiskit.primitives import Estimator

# 단순화된 H2 해밀토니안 (단위: Hartree)
H2_op = SparsePauliOp.from_list([
    ("II", -1.0523732),
    ("ZI", +0.3979374),
    ("IZ", -0.3979374),
    ("ZZ", -0.0112801),
    ("XX", +0.1809312),
])

# 앙사츠: 2큐비트 TwoLocal 회로 (RY + CNOT)
ansatz = TwoLocal(num_qubits=2, rotation_blocks="ry",
                  entanglement_blocks="cx", reps=1)

optimizer = COBYLA(maxiter=300)
estimator = Estimator()
vqe = VQE(estimator=estimator, ansatz=ansatz, optimizer=optimizer)
result = vqe.compute_minimum_eigenvalue(H2_op)

print(f"추정 바닥 상태 에너지: {result.eigenvalue:.6f} Hartree")
# FCI 참값: -1.137270 Hartree

실제 응용 분야

양자 화학: 분자 바닥 상태 에너지, 반응 경로, 전이 상태 계산
재료 과학: 강상관 전자계의 에너지 밴드 구조 계산
조합 최적화: Ising 모델로 변환된 최적화 문제 (QAOA와 연계)

VQE의 주요 한계

Barren Plateau(황량 고원): 큐비트 수가 증가할수록 비용 함수의 기울기가 지수적으로 감소하여 최적화가 사실상 불가능해진다. 또한 각 파울리 항을 별도로 측정해야 하므로 측정 횟수(shot)가 많아 양자 하드웨어 사용 비용이 높고, 앙사츠가 표현력(expressibility)과 훈련 가능성(trainability) 사이에서 절충점을 요구한다.

정리

VQE는 $E (θ) \geq E_{0}$ 라는 변분 부등식을 핵심 원리로 삼아, 양자 회로(기댓값 추정)와 고전 최적화기(매개변수 갱신)를 반복 결합하는 하이브리드 알고리즘이다. 앙사츠 설계, Barren Plateau 완화, 측정 오버헤드 감소가 현재 활발히 연구되는 과제이며, NISQ 장치에서 양자 우위를 향한 주요 경로 중 하나로 평가받고 있다.

핵심 정리

01변분 원리: 임의의 시험 상태에 대한 해밀토니안 기댓값은 바닥 상태 에너지 이상이므로, 최소화를 통해 $E_0$에 수렴한다.

02VQE는 얕은 양자 회로(앙사츠)와 고전 최적화기를 교대로 실행하는 하이브리드 구조로 NISQ 장치에 적합하다.

03해밀토니안을 파울리 연산자의 선형 결합으로 분해하고, 각 항의 기댓값을 개별 측정하여 에너지를 추정한다.

04파라미터 이동 규칙을 사용하면 양자 회로에서 직접 비용 함수의 기울기를 계산할 수 있다.

05앙사츠 선택(HEA vs UCC)은 표현력, 회로 깊이, 물리적 의미 사이의 절충을 결정한다.

06Barren Plateau와 측정 오버헤드는 VQE의 스케일 확장을 막는 주요 장애물이다.

연습문제

Q1.파라미터 이동 규칙 $\frac{\partial E}{\partial \theta_k} = \frac{E(\theta_k + \pi/2) - E(\theta_k - \pi/2)}{2}$ 이 성립하는 조건은 무엇인가? 회로 게이트와의 관계를 서술하라.

힌트 보기

회로 내 해당 매개변수 $\theta_k$가 $e^{-i\theta_k G}$ 형태의 게이트(G는 고유값 $\pm 1/2$인 에르미트 연산자)에만 등장할 때를 생각해보라.

해설 보기

파라미터 이동 규칙은 회로의 매개변수 $\theta_k$가 $e^{-i\theta_k G}$ 형태의 회전 게이트에 단독으로 나타나고, $G$의 고유값이 $\pm r$로 두 가지뿐일 때 정확히 성립한다. 이 조건에서 $E(\theta_k)$는 $\theta_k$에 대해 사인 함수 형태를 가지며, 반주기($\pi/2$) 이동 후 차이를 취하면 해석적 기울기를 얻을 수 있다. Pauli 회전 게이트($R_X, R_Y, R_Z$)는 $r=1/2$로 이 조건을 만족한다.

Q2.VQE에서 앙사츠의 표현력(expressibility)이 높을수록 항상 좋은 결과를 보장하는가? Barren Plateau 관점에서 논하라.

해설 보기

표현력이 높은 앙사츠는 힐베르트 공간을 더 넓게 탐색할 수 있으나, 무작위 초기화 시 비용 함수의 기울기가 큐비트 수 $n$에 따라 $O(2^{-n})$으로 지수적으로 감소하는 Barren Plateau 현상이 심화된다. 이는 최적화 방향을 사실상 탐지할 수 없게 만든다. 따라서 표현력과 훈련 가능성은 상충 관계에 있으며, 물리 기반 앙사츠(UCC 등) 또는 계층적 초기화 전략을 통해 이를 완화하는 연구가 진행 중이다.

Q3.파울리 항이 $M$개인 해밀토니안에서 VQE 에너지 추정의 총 측정 횟수는 어떻게 결정되는가? 통계적 오차 $\epsilon$과의 관계를 설명하라.

힌트 보기

각 파울리 항의 기댓값 추정에 필요한 샷 수와 분산의 관계를 생각하라.

해설 보기

각 파울리 항 $P_i$의 기댓값은 분산 $\text{Var}(\langle P_i \rangle) \leq 1$을 가지므로, 표준 오차 $\epsilon_i$를 달성하려면 $O(1/\epsilon_i^2)$회의 측정이 필요하다. $M$개 항이 독립적으로 측정되면 총 측정 횟수는 $O(M/\epsilon^2)$에 비례한다. 분자 해밀토니안에서 $M$은 $O(n^4)$으로 증가하므로(n: 궤도 수), 측정 오버헤드는 시스템 크기에 따라 급격히 증가한다. 이를 줄이기 위해 가환하는 파울리 항을 묶어 동시에 측정하는 그루핑(grouping) 기법이 활용된다.

개념 소개

핵심 원리

변분 원리

앙사츠(Ansatz): 매개변수화 양자 회로

파울리 분해와 기댓값 측정

고전 최적화 루프와 파라미터 이동 규칙

예시·응용

수소 분자(H₂) 바닥 상태 에너지 계산

실제 응용 분야

VQE의 주요 한계

정리

연습문제

관련 용어