변분 양자 고유값 계산기(VQE): 원리와 구현

개념 소개

VQE(Variational Quantum Eigensolver)는 양자-고전 하이브리드 알고리즘으로, 해밀토니안 $\hat{H}$의 최솟값 고유값(기저 에너지 $E_0$)을 근사적으로 구한다. 양자 위상 추정(QPE)처럼 깊은 회로를 요구하는 순수 양자 알고리즘과 달리, 짧은 양자 회로와 고전 최적화 루프를 반복 결합하여 현재 NISQ(Noisy Intermediate-Scale Quantum) 장치에서도 실용적으로 적용할 수 있다.

알고리즘의 물리적 근거는 **변분 원리(Rayleigh–Ritz 정리)**다. 임의의 정규화된 시험 상태 $|\psi ⟩$에 대해 다음 부등식이 항상 성립한다:

$$E_0\le ⟨\psi |\hat{H}|\psi ⟩$$

이 상한을 매개변수 $\mathbf{\theta }$로 최소화하면 기저 에너지에 수렴하는 근삿값을 얻는다.

---

핵심 원리

1. 앤사츠 — 파라미터화된 양자 회로

시험 상태는 매개변수 집합 $\mathbf{\theta }=({\theta }_1,\dots ,{\theta }_m)$를 갖는 유니터리 회로 $U(\mathbf{\theta })$로 준비된다:

$$|\psi (\mathbf{\theta })⟩=U(\mathbf{\theta })|0{⟩}^{\otimes n}$$

이 회로를 **앤사츠(ansatz)**라 부른다. 대표적인 유형은 두 가지다.

• UCCSD 앤사츠: Unitary Coupled Cluster 이론에서 유도되며 화학적 타당성이 높다. 그러나 게이트 수가 많아 잡음에 취약하다.
• 하드웨어 효율적 앤사츠(HEA): 장치의 연결성과 오류율을 고려해 짧은 층(layer) 구조로 설계된다. 표현력(expressibility)이 낮아질 수 있다.

2. 해밀토니안의 파울리 분해

양자컴퓨터는 파울리 연산자 $\{I,X,Y,Z\}$의 텐서곱으로 표현된 연산자의 기댓값만 직접 측정할 수 있다. 따라서 해밀토니안을 파울리 문자열의 선형 결합으로 전개한다:

$$\hat{H}=\sum _k{c}_k{\hat{P}}_k,{\hat{P}}_k\in \{I,X,Y,Z{\}}^{\otimes n}$$

기댓값의 선형성으로부터:

$$⟨\hat{H}{⟩}_{\mathbf{\theta }}=\sum _k{c}_k⟨\psi (\mathbf{\theta })|{\hat{P}}_k|\psi (\mathbf{\theta })⟩$$

각 파울리 항은 독립적으로 측정·합산되어 전체 에너지 추정값을 구성한다.

3. 고전 최적화와 파라미터 이동 규칙

에너지 기댓값을 목적 함수로 하여 고전 최적화기가 $\mathbf{\theta }$를 갱신한다:

$${\mathbf{\theta }}^{\ast }=\arg \underset{\mathbf{\theta }}{\min }⟨\psi (\mathbf{\theta })|\hat{H}|\psi (\mathbf{\theta })⟩$$

경사도 기반 방법(BFGS, Adam)을 사용할 때는 **파라미터 이동 규칙(parameter-shift rule)**으로 해석적 경사도를 계산한다:

$$\frac{\partial ⟨\hat{H}⟩}{\partial {\theta }_k}=\frac{1}{2}[⟨\hat{H}{⟩}_{{\theta }_k+\frac{\pi }{2}}-⟨\hat{H}{⟩}_{{\theta }_k-\frac{\pi }{2}}]$$

이 규칙은 유한 차분 근사 없이 실제 하드웨어에서 경사도를 정확히 계산할 수 있게 한다. 경사도 없는 방법(COBYLA, Nelder-Mead)도 흔히 사용된다.

---

예시·응용

수소 분자 H₂ 기저 에너지 계산

${\mathrm{H}}_2$의 전자 구조 해밀토니안은 STO-3G 기저에서 2큐비트 파울리 분해로 표현된다. 아래는 PennyLane 스타일의 최소 구현 예시다:

import pennylane as qml
import numpy as np
from scipy.optimize import minimize

# H2 해밀토니안 (파울리 분해, 단위: Hartree)
coeffs = [0.2252, 0.3435, -0.4347, 0.5716, 0.0910, 0.0910]
ops = [
    qml.Identity(0),
    qml.PauliZ(0),
    qml.PauliZ(1),
    qml.PauliZ(0) @ qml.PauliZ(1),
    qml.PauliY(0) @ qml.PauliY(1),
    qml.PauliX(0) @ qml.PauliX(1),
]
H = qml.Hamiltonian(coeffs, ops)

dev = qml.device("default.qubit", wires=2)

@qml.qnode(dev)
def ansatz(params):
    qml.RY(params[0], wires=0)
    qml.RY(params[1], wires=1)
    qml.CNOT(wires=[0, 1])
    return qml.expval(H)

# COBYLA 최적화
result = minimize(ansatz, x0=np.array([0.1, 0.2]), method="COBYLA")
print(f"추정 기저 에너지: {result.fun:.4f} Ha")
# 참고값: -1.1372 Ha (FCI)

주요 응용 분야

• 양자 화학: 분자 기저 에너지, 결합 에너지, 반응 경로 계산
• 재료 과학: 강상관 전자계, 위상 물질의 전자 구조 연구
• 조합 최적화: 이징 모델로 변환된 최적화 문제(QAOA와 연관)

NISQ 시대의 주요 한계

문제	원인	완화 방법
측정 잡음	샷(shot) 유한성	측정 횟수 증가, 오류 완화 기법
바렌 플래토	회로 깊이↑ → 경사도 지수 소실	국소 앤사츠, 층별 학습
앤사츠 표현력 부족	시험 공간이 기저 상태를 포함 못 함	ADAPT-VQE 등 적응형 앤사츠

**바렌 플래토(barren plateau)**는 회로 큐비트 수 $n$이 증가할 때 경사도 분산이 $O(2^{-n})$으로 소실되어 최적화가 사실상 불가능해지는 현상이다. 앤사츠 구조 설계에서 가장 중요한 장애물로 꼽힌다.

---

정리

VQE는 변분 원리를 핵심으로 하는 하이브리드 알고리즘으로, (1) 앤사츠로 시험 상태 준비, (2) 파울리 분해된 해밀토니안 측정, (3) 고전 최적화기로 매개변수 갱신의 루프를 반복한다. 파라미터 이동 규칙을 통해 경사도를 해석적으로 계산할 수 있으며, NISQ 장치에서 실행 가능한 현실적인 알고리즘이다. 그러나 바렌 플래토 문제와 측정 잡음 극복은 현재 진행 중인 중요한 연구 과제로 남아 있다.