변분 양자 고유값 계산(VQE): 하이브리드 양자-고전 알고리즘

개념 소개

양자 시스템의 바닥 상태 에너지를 구하는 문제는 양자 화학과 재료 과학의 핵심 과제다. 분자 크기가 커질수록 힐베르트 공간의 차원은 지수적으로 증가하므로 고전 컴퓨터로는 정밀한 시뮬레이션이 어렵다. 양자 컴퓨터는 이 공간을 자연스럽게 표현할 수 있지만, 현재의 NISQ(Noisy Intermediate-Scale Quantum) 장치는 깊은 회로를 실행하기에 충분한 결맞음 시간을 확보하지 못한다.

VQE는 이 한계를 우회하기 위해 양자 회로와 고전 최적화기를 반복적으로 결합하는 하이브리드 접근법이다. 양자 장치는 에너지 기대값 측정에만 활용하고, 파라미터 갱신은 고전 컴퓨터가 담당함으로써 회로 깊이를 최소화한다.

핵심 원리

변분 원리

VQE의 수학적 토대는 **변분 원리(Variational Principle)**다. 임의의 시험 상태 $|\psi ⟩$에 대해 다음 부등식이 항상 성립한다.

$$E_0\le ⟨\psi |\hat{H}|\psi ⟩$$

여기서 $E_0$는 해밀토니안 $\hat{H}$의 최저 고유값이다. 어떤 시험 상태를 사용하더라도 그 에너지 기대값은 바닥 상태 에너지 이상이므로, 기대값을 최소화하는 최적화 문제로 변환할 수 있다.

앤사츠(Ansatz)

파라미터화된 양자 회로 $U(\mathbf{\theta })$를 통해 시험 상태를 생성한다.

$$|\psi (\mathbf{\theta })⟩=U(\mathbf{\theta })|0{⟩}^{\otimes n}$$

$\mathbf{\theta }=({\theta }_1,{\theta }_2,\dots ,{\theta }_m)$은 고전 최적화기가 조정하는 파라미터 벡터다. 앤사츠 설계는 VQE 성능에 결정적인 영향을 미치며, 대표적인 형태는 다음과 같다.

• UCCSD: 단일·이중 여기(excitation)를 포함하는 유니터리 결합 클러스터 앤사츠로, 물리적 동기가 명확하다.
• 하드웨어 효율 앤사츠(HEA): 실제 양자 하드웨어 연결성에 맞게 회로 구조를 설계하여 오류를 줄인다.

기대값 추정

해밀토니안은 파울리 연산자의 선형 결합으로 표현된다.

$$\hat{H}=\sum _k{c}_k{\hat{P}}_k,{\hat{P}}_k\in \{I,X,Y,Z{\}}^{\otimes n}$$

각 파울리 항의 기대값을 반복 측정하여 총 에너지 기대값을 계산한다.

$$E(\mathbf{\theta })=\sum _k{c}_k⟨\psi (\mathbf{\theta })|{\hat{P}}_k|\psi (\mathbf{\theta })⟩$$

파라미터 이동 규칙

파라미터에 대한 기울기는 **파라미터 이동 규칙(Parameter Shift Rule)**으로 양자 회로에서 직접 계산할 수 있다.

$$\frac{\partial E}{\partial {\theta }_i}=\frac{E\left(\mathbf{\theta }+\frac{\pi }{2}{\hat{e}}_i\right)-E\left(\mathbf{\theta }-\frac{\pi }{2}{\hat{e}}_i\right)}{2}$$

이를 이용하면 유한 차분 근사 없이 정확한 기울기 정보를 얻어 경사 하강법 계열 최적화기를 적용할 수 있다.

최적화 루프

VQE의 전체 흐름은 다음과 같다.

1. 초기 파라미터 ${\mathbf{\theta }}^{(0)}$ 설정
2. 양자 회로 $U(\mathbf{\theta })$ 실행 → $E(\mathbf{\theta })$ 측정
3. 고전 최적화기(COBYLA, SPSA, Adam 등)로 $\mathbf{\theta }$ 갱신
4. 수렴 조건 만족 시 종료, 그렇지 않으면 2로 반복

예시·응용

수소 분자(H₂)의 바닥 상태 에너지

STO-3G 기저 함수로 표현한 H₂의 해밀토니안은 2큐비트 파울리 연산자의 합으로 나타낼 수 있다. Qiskit을 활용한 간략한 구현 예시는 다음과 같다.

from qiskit.circuit.library import TwoLocal
from qiskit.primitives import Estimator
from qiskit_algorithms import VQE
from qiskit_algorithms.optimizers import COBYLA
from qiskit.quantum_info import SparsePauliOp

# H₂ 해밀토니안 (STO-3G, Jordan-Wigner 변환 후)
hamiltonian = SparsePauliOp.from_list([
    ("II", -1.0523732),
    ("IZ",  0.3979374),
    ("ZI", -0.3979374),
    ("ZZ", -0.0112801),
    ("XX",  0.1809312),
])

# 하드웨어 효율 앤사츠
ansatz = TwoLocal(num_qubits=2, rotation_blocks="ry",
                  entanglement_blocks="cx", reps=1)

# VQE 실행
vqe = VQE(estimator=Estimator(), ansatz=ansatz,
          optimizer=COBYLA(maxiter=300))
result = vqe.compute_minimum_eigenvalue(hamiltonian)

print(f"바닥 상태 에너지: {result.eigenvalue:.6f} Ha")
# 참값: -1.137270 Ha (FCI 기준)

바렌 플래토 문제

앤사츠의 깊이와 큐비트 수가 증가할수록 손실 함수의 기울기가 지수적으로 감소하는 바렌 플래토(Barren Plateau) 현상이 나타난다. 이를 완화하기 위해 국소적 손실 함수 사용, 레이어별 학습(LBFGS), 또는 물리적으로 동기화된 앤사츠 선택 등의 전략이 연구되고 있다.

주요 응용 분야

• 양자 화학: 분자 바닥 상태 에너지, 반응 경로 및 전이 상태 탐색
• 재료 과학: 강상관 전자계, 촉매 활성 부위 모델링
• 조합 최적화: QAOA(Quantum Approximate Optimization Algorithm)와 연계한 최대 컷·포트폴리오 최적화

정리

VQE는 변분 원리를 기반으로 파라미터화된 앤사츠의 에너지 기대값을 반복적으로 최소화하는 하이브리드 알고리즘이다. 회로 깊이 절감을 통해 NISQ 장치에서 실용적으로 동작하지만, 측정 오버헤드·바렌 플래토·앤사츠 표현력 한계 등 해결해야 할 과제가 남아 있다. 이러한 한계를 극복하기 위한 오류 완화 기법과 적응형 앤사츠 연구가 활발히 진행 중이며, VQE는 양자 이점을 가장 먼저 실현할 가능성이 높은 알고리즘 중 하나로 평가받고 있다.