변분 양자 고유값 계산(VQE): 원리와 구현

개념 소개

VQE(Variational Quantum Eigensolver)는 양자 회로와 고전 컴퓨터를 결합한 하이브리드 알고리즘으로, 주어진 해밀토니안 $H$의 최솟값 고유값(바닥 상태 에너지 $E_0$)을 근사적으로 계산한다. 양자 위상 추정(QPE)은 오류 정정이 완비된 장치를 전제하지만, VQE는 깊이가 얕은 회로를 반복 실행하는 구조 덕분에 오류율이 높은 현재의 NISQ(Noisy Intermediate-Scale Quantum) 장치에서도 실행할 수 있다. 양자 화학, 재료 과학, 조합 최적화 등 넓은 분야에 걸쳐 응용이 활발히 연구되고 있다.

---

핵심 원리

변분 원리

Rayleigh-Ritz 변분 원리에 따르면, 임의의 정규화된 시험 상태(trial state) $|\psi (\mathbf{\theta })⟩$에 대해 다음 부등식이 항상 성립한다.

$$E(\mathbf{\theta })=⟨\psi (\mathbf{\theta })|H|\psi (\mathbf{\theta })⟩\ge E_0$$

등호는 $|\psi (\mathbf{\theta })⟩$이 정확한 바닥 상태일 때만 성립한다. 따라서 매개변수 $\mathbf{\theta }$를 최적화하여 $E(\mathbf{\theta })$를 최소화하면 $E_0$에 대한 상한(upper bound)을 점진적으로 좁혀갈 수 있다.

Ansatz 설계

$|\psi (\mathbf{\theta })⟩$을 생성하는 매개변수화 양자 회로를 Ansatz라 한다. 주요 선택지는 다음과 같다.

Ansatz	특징	장점	단점
HEA (Hardware-Efficient Ansatz)	하드웨어 연결성 기반 회로	구현 용이, 회로 깊이 낮음	물리적 직관 부족
UCCSD (Unitary Coupled Cluster)	양자 화학 결합 클러스터 이론 기반	화학적 정확도 높음	회로 깊이 큼
ADAPT-VQE	필요한 연산자만 동적 추가	효율적 Ansatz 구성	알고리즘 복잡도 증가

Pauli 분해와 기댓값 측정

해밀토니안은 Pauli 문자열(Pauli string)의 선형 결합으로 표현된다.

$$H=\sum _k{c}_k{P}_k,P_k\in \{I,X,Y,Z{\}}^{\otimes n}$$

각 항 $P_k$의 기댓값은 독립된 측정으로 추정한 뒤, 고전 컴퓨터에서 가중합을 계산한다.

$$E(\mathbf{\theta })=\sum _k{c}_k⟨\psi (\mathbf{\theta })|P_k|\psi (\mathbf{\theta })⟩$$

$Z$ 기저 이외의 Pauli 항은 적절한 단일 회전 게이트를 추가해 기저 변환 후 측정한다. 예를 들어 $X$ 기저 측정은 $H$ 게이트를, $Y$ 기저 측정은 $S^{†}H$ 게이트를 회로에 덧붙인다.

고전 최적화 루프와 파라미터 이동 규칙

전체 알고리즘 흐름은 다음과 같다.

1. 초기 매개변수 ${\mathbf{\theta }}^{(0)}$ 설정
2. 양자 회로로 $|\psi (\mathbf{\theta })⟩$ 준비 후 각 Pauli 항 측정
3. $E(\mathbf{\theta })$ 고전 계산
4. 최적화기(COBYLA, SPSA, L-BFGS-B 등)로 $\mathbf{\theta }$ 갱신
5. 수렴 조건 미충족 시 2로 복귀

그래디언트 기반 최적화에는 **파라미터 이동 규칙(parameter-shift rule)**이 자주 쓰인다.

$$\frac{\partial E}{\partial {\theta }_k}=\frac{E\left({\theta }_k+\frac{\pi }{2}\right)-E\left({\theta }_k-\frac{\pi }{2}\right)}{2}$$

이 규칙은 유한 차분(finite difference)과 달리 정확한 해석적 그래디언트를 두 번의 추가 회로 실행만으로 계산한다는 장점이 있다.

---

예시·응용

H₂ 분자 바닥 상태 에너지

수소 분자(H₂)를 STO-3G 기저, Jordan-Wigner 변환으로 매핑하면 다음과 같은 2큐비트 해밀토니안이 된다.

$$H=g_{0}II+g_{1}ZI+g_{2}IZ+g_{3}ZZ+g_{4}XX+g_{5}YY$$

계수 $g_i$는 핵간 거리에 따라 변한다. VQE는 이 에너지 곡면의 최솟값을 탐색하여 평형 결합 거리에서의 기저 상태 에너지를 재현한다.

아래는 Qiskit을 이용한 간략한 구현 예시이다.

from qiskit.circuit.library import TwoLocal
from qiskit.quantum_info import SparsePauliOp
from qiskit.primitives import Estimator
from qiskit_algorithms import VQE
from qiskit_algorithms.optimizers import COBYLA

# H2 STO-3G 해밀토니안 (단순화 계수)
hamiltonian = SparsePauliOp.from_list([
    ("II", -1.0523732),
    ("IZ",  0.3979374),
    ("ZI", -0.3979374),
    ("ZZ", -0.0112801),
    ("XX",  0.1809312),
    ("YY",  0.1809312),
])

# HEA Ansatz: Ry·Rz 회전 + CNOT 엔탱글먼트 2레이어
ansatz = TwoLocal(
    num_qubits=2,
    rotation_blocks=["ry", "rz"],
    entanglement_blocks="cx",
    reps=2
)

estimator = Estimator()
optimizer = COBYLA(maxiter=500)
vqe = VQE(estimator, ansatz, optimizer)
result = vqe.compute_minimum_eigenvalue(hamiltonian)
print(f"바닥 상태 에너지: {result.eigenvalue:.6f} Hartree")
# 기댓값: 약 -1.137 Hartree

바렌 평원 문제(Barren Plateau)

큐비트 수와 회로 깊이가 증가하면 비용 함수의 그래디언트 분산이 큐비트 수 $n$에 대해 $O(2^{-n})$으로 지수 감소하는 바렌 평원(Barren Plateau) 현상이 나타난다. 이를 완화하기 위해 국소 비용 함수 설계, 층별 순차 최적화(LBFGS), 텐서 네트워크 기반 초기화 등 다양한 전략이 제안되고 있다.

---

정리

VQE는 변분 원리를 활용하여 Ansatz 회로가 생성하는 시험 상태의 에너지를 고전 최적화기로 반복 최소화하는 하이브리드 알고리즘이다. Pauli 분해를 통한 측정 분산과 파라미터 이동 규칙을 결합하면 NISQ 장치에서도 실용적인 양자 화학 계산이 가능하다. 그러나 측정 횟수에 따른 통계 오류, 바렌 평원, Ansatz 표현력 한계 등 미해결 과제가 남아 있으며, 내결함성 양자 컴퓨터 시대에는 QPE 기반 알고리즘으로 대체되거나 보완될 전망이다.