변분 양자 고유값 계산기(VQE): 원리와 구현

개념 소개

VQE는 양자 회로가 시험 파동함수(trial wavefunction)를 준비하고, 고전 컴퓨터가 그 에너지 기댓값을 최소화하도록 회로 매개변수를 반복 갱신하는 구조를 갖는다. 광자 기반 양자 프로세서에서의 초기 구현을 계기로 양자화학·재료과학·조합 최적화 등 다양한 영역으로 응용이 확장되었다.

핵심은 **변분 원리(variational principle)**에 있다. 임의의 규격화된 상태로 계산한 에너지 기댓값은 반드시 해밀토니안의 진정한 바닥 상태 에너지 이상이므로, 이 상한을 낮추는 방향으로 최적화하면 바닥 상태 에너지에 수렴할 수 있다.

핵심 원리

1. 변분 원리

해밀토니안 $\hat{H}$의 바닥 상태 에너지 $E_0$에 대해 다음 부등식이 항상 성립한다.

$$E_0\le E(\mathbf{\theta })=⟨\psi (\mathbf{\theta })|\hat{H}|\psi (\mathbf{\theta })⟩$$

매개변수 $\mathbf{\theta }$를 조정하여 $E(\mathbf{\theta })$를 최소화하면 $E_0$의 상한이 점차 바닥 상태에 근접한다.

2. Ansatz

매개변수화된 양자 회로 $U(\mathbf{\theta })$가 시험 상태를 생성한다.

$$|\psi (\mathbf{\theta })⟩=U(\mathbf{\theta })|0{⟩}^{\otimes n}$$

이 회로를 ansatz라 부르며, 물리적 타당성과 회로 깊이 사이의 균형을 고려해 설계한다.

• UCCSD(Unitary Coupled Cluster Singles and Doubles): 양자화학의 결합 클러스터 이론을 유니터리 형식으로 변환한 화학적으로 동기화된 ansatz. 표현력이 높으나 회로가 깊다.
• 하드웨어 효율적 ansatz: 실제 디바이스 연결성에 맞춘 얕은 깊이의 회로. 표현력은 낮지만 노이즈에 강하다.

3. 해밀토니안의 파울리 분해

분자 해밀토니안을 파울리 연산자 텐서곱의 선형결합으로 표현한다.

$$\hat{H}=\sum _k{c}_k{\hat{P}}_k,{\hat{P}}_k\in \{I,X,Y,Z{\}}^{\otimes n}$$

각 파울리 항의 기댓값을 별도로 측정하고 가중합산하여 총 에너지를 구한다.

$$E(\mathbf{\theta })=\sum _k{c}_k⟨\psi (\mathbf{\theta })|{\hat{P}}_k|\psi (\mathbf{\theta })⟩$$

4. 파라미터 이동 규칙(Parameter-Shift Rule)

기울기를 해석적으로 계산할 수 있다.

$$\frac{\partial E}{\partial {\theta }_j}=\frac{E\left({\theta }_j+\frac{\pi }{2}\right)-E\left({\theta }_j-\frac{\pi }{2}\right)}{2}$$

각 매개변수에 대해 두 번의 추가 회로 실행으로 정확한 기울기를 얻으므로, 유한 차분과 달리 근사 오차가 없다.

예시·응용

수소 분자 H₂의 바닥 상태 에너지

H₂는 VQE 벤치마크의 표준 사례다. STO-3G 기저함수와 Jordan-Wigner 변환을 거치면 2큐비트 해밀토니안이 구성된다.

import pennylane as qml
from pennylane import numpy as np

dev = qml.device("default.qubit", wires=2)

# 단순화된 H2 해밀토니안 (STO-3G, 결합 거리 0.74 Å)
H = qml.Hamiltonian(
    [-1.0523, 0.3979, -0.3979, -0.0112, 0.1809],
    [
        qml.Identity(0) @ qml.Identity(1),
        qml.PauliZ(0),
        qml.PauliZ(1),
        qml.PauliZ(0) @ qml.PauliZ(1),
        qml.PauliX(0) @ qml.PauliX(1),
    ]
)

@qml.qnode(dev)
def circuit(params):
    qml.RY(params[0], wires=0)
    qml.CNOT(wires=[0, 1])
    qml.RY(params[1], wires=1)
    return qml.expval(H)

opt = qml.GradientDescentOptimizer(stepsize=0.4)
params = np.array([0.1, 0.2], requires_grad=True)

for step in range(100):
    params, energy = opt.step_and_cost(circuit, params)
    if step % 20 == 0:
        print(f"Step {step:3d}: E = {energy:.6f} Ha")

주요 응용 분야

• 양자화학: 분자 결합 에너지, 반응 경로, 전이 상태 계산
• 재료과학: 강상관 전자계(Hubbard 모형 등) 바닥 상태 탐색
• 조합 최적화: QUBO를 이징 해밀토니안으로 변환 후 VQE 방식 적용

NISQ 환경에서의 한계

실제 하드웨어에서는 측정 잡음(shot noise), 게이트 오류, 디코히어런스가 $E(\mathbf{\theta })$ 추정에 오차를 유발한다. 또한 큐비트 수가 늘어날수록 기울기가 지수적으로 감소하는 배런 플래토(barren plateau) 현상이 최적화를 저해한다. 이에 대응하기 위해 오류 완화(error mitigation), 적응형 ADAPT-VQE, 초기값 전략 등이 연구되고 있다.

정리

VQE는 변분 원리라는 수학적 보증 위에서 얕은 양자 회로와 고전 최적화를 결합한다. 해밀토니안의 파울리 분해와 파라미터 이동 규칙이 측정·최적화의 핵심 도구이며, ansatz 선택이 정확도와 회로 복잡도를 결정하는 주요 설계 변수다. 배런 플래토 및 측정 횟수 문제는 실용적 스케일 확장의 과제로 남아 있다.