변분 양자 고유값 계산(VQE): 혼합 양자-고전 알고리즘

개념 소개

VQE(Variational Quantum Eigensolver)는 혼합(hybrid) 양자-고전 알고리즘으로, 주어진 해밀토니안 $H$의 기저 상태(ground state) 에너지 $E_0$를 근사적으로 구하는 데 사용된다. 완전한 양자 오류 정정이 어려운 NISQ(Noisy Intermediate-Scale Quantum) 장치에서도 작동하도록 설계되었다는 점이 실용적 강점이다.

핵심 아이디어는 양자역학의 **변분 원리(variational principle)**에서 출발한다. 임의의 정규화된 시험 상태 $|\psi (\mathbf{\theta })⟩$에 대해 다음 부등식이 항상 성립한다:

$$E_0\le ⟨\psi (\mathbf{\theta })|H|\psi (\mathbf{\theta })⟩\equiv E(\mathbf{\theta })$$

$E(\mathbf{\theta })$는 기저 상태 에너지의 상한이므로, 매개변수 $\mathbf{\theta }$를 최적화해 이를 최소화하면 $E_0$에 점진적으로 수렴할 수 있다.

핵심 원리

VQE는 세 가지 구성 요소의 반복 루프로 작동한다.

1. Ansatz (시험 파동함수)

매개변수화된 양자 회로 $U(\mathbf{\theta })$를 초기 상태 $|0{⟩}^{\otimes n}$에 적용해 시험 상태를 생성한다:

$$|\psi (\mathbf{\theta })⟩=U(\mathbf{\theta })|0{⟩}^{\otimes n}$$

Ansatz는 표현력(expressibility)과 학습 용이성(trainability) 사이의 균형이 중요하다. 대표적 설계로는 Unitary Coupled Cluster(UCC)와 Hardware-Efficient Ansatz(HEA)가 있다.

2. 비용 함수 추정

해밀토니안을 파울리 연산자의 선형 결합으로 분해한다:

$$H=\sum _k{c}_k{P}_k,P_k\in \{I,X,Y,Z{\}}^{\otimes n}$$

각 파울리 항의 기댓값 $⟨P_k⟩$을 양자 회로에서 반복 측정하여 추정하고, 이를 선형 결합해 $E(\mathbf{\theta })$를 계산한다. 측정 횟수(샷 수)가 유한하므로 통계적 오차(샷 노이즈)가 필연적으로 발생한다.

3. 고전 최적화

$E(\mathbf{\theta })$를 최소화하기 위해 경사 하강법, SPSA, COBYLA 등 고전 최적화 알고리즘이 사용된다. 기울기 계산에는 **매개변수 이동 법칙(parameter-shift rule)**이 자주 적용된다:

$$\frac{\partial E}{\partial {\theta }_i}=\frac{E({\theta }_i+\frac{\pi }{2})-E({\theta }_i-\frac{\pi }{2})}{2}$$

이 규칙은 수치 미분 없이 실제 양자 회로 실행만으로 정확한 기울기를 얻을 수 있다는 점에서 중요하다.

바렌 평원(Barren Plateau) 문제: 무작위로 초기화된 깊은 회로에서는 기울기의 분산이 큐비트 수 $n$에 대해 $O(2^{-n})$으로 지수 감소하여 최적화가 사실상 불가능해진다. 이는 현재 VQE 연구의 핵심 난제이다.

예시·응용

가장 대표적인 응용은 수소 분자(${\mathrm{H}}_2$)의 기저 상태 에너지 계산이다. STO-3G 기저 함수를 사용하면 2큐비트 해밀토니안으로 축약된다.

아래는 PennyLane을 이용한 간략한 VQE 구현 예시이다:

import pennylane as qml
from pennylane import numpy as np

# 2큐비트 해밀토니안 (H2 간략화 모델)
coeffs = [0.2252, 0.1715, -0.2252, 0.1715, 0.1200]
ops = [
    qml.PauliZ(0),
    qml.PauliZ(1),
    qml.PauliZ(0) @ qml.PauliZ(1),
    qml.PauliX(0) @ qml.PauliX(1),
    qml.PauliY(0) @ qml.PauliY(1),
]
H = qml.Hamiltonian(coeffs, ops)

dev = qml.device("default.qubit", wires=2)

@qml.qnode(dev)
def ansatz(params):
    qml.RY(params[0], wires=0)
    qml.RY(params[1], wires=1)
    qml.CNOT(wires=[0, 1])
    return qml.expval(H)

# 고전 최적화 루프
params = np.array([0.1, 0.2], requires_grad=True)
opt = qml.GradientDescentOptimizer(stepsize=0.4)

for step in range(100):
    params, energy = opt.step_and_cost(ansatz, params)
    if step % 20 == 0:
        print(f"Step {step:3d}: E = {energy:.6f} Ha")

실제 양자 화학 계산에서는 OpenFermion·PySCF 등으로 분자 해밀토니안을 생성하고, UCCSD(Unitary Coupled Cluster Singles and Doubles) ansatz를 적용하여 화학적 정확도(~1.6 mHa)에 근접한 결과를 얻는 것이 목표이다. VQE는 분자 에너지 이외에도 조합 최적화(MaxCut 등)를 QUBO 형태로 변환하여 적용하거나, 재료의 전자 구조 계산에 활용된다.

정리

VQE는 변분 원리를 기반으로 양자 하드웨어(에너지 추정)와 고전 컴퓨터(매개변수 최적화)를 결합한 혼합 알고리즘이다. 얕은 회로로도 운용 가능해 NISQ 장치에 적합하지만, 바렌 평원 문제·샷 노이즈·해밀토니안 분해 오버헤드 등 극복해야 할 과제가 존재한다. Ansatz 설계, 최적화 전략, 오류 완화(error mitigation) 기술의 발전이 VQE 실용화의 관건이다.