변분 양자 고유값 계산(VQE): 하이브리드 양자-고전 알고리즘

개념 소개

변분 양자 고유값 계산(Variational Quantum Eigensolver, VQE)은 양자 컴퓨터가 시험 상태를 준비하고 측정하는 역할을, 고전 컴퓨터가 파라미터를 최적화하는 역할을 나누어 맡는 하이브리드 알고리즘이다. 목표는 주어진 해밀토니안 $H$의 최소 고유값 $E_0$ (기저 상태 에너지)을 근사적으로 구하는 것이다.

완전한 양자 위상 추정 알고리즘은 깊은 회로와 오류 정정을 요구하는 반면, VQE는 얕은 회로로도 의미 있는 결과를 낼 수 있어 NISQ(Noisy Intermediate-Scale Quantum) 시대의 대표적 알고리즘으로 부상했다.

---

핵심 원리

변분 원리

양자역학의 변분 원리에 의하면, 임의의 규격화된 시험 상태 $|\psi ⟩$에 대해 다음이 항상 성립한다.

$$E(\theta )=⟨\psi (\theta )|H|\psi (\theta )⟩\ge E_0$$

등호는 $|\psi (\theta )⟩$이 기저 상태와 완전히 일치할 때만 성립한다. VQE는 이 부등식을 활용하여 $E(\theta )$를 비용 함수로 삼고, 이를 최소화하는 파라미터 ${\theta }^{\ast }$를 탐색한다.

Ansatz (시험 파동함수 회로)

파라미터화된 양자 회로 $U(\theta )$를 Ansatz라 부른다. 참조 상태 $|0{⟩}^{\otimes n}$에 $U(\theta )$를 적용하여 시험 상태를 구성한다.

$$|\psi (\theta )⟩=U(\theta )|0{⟩}^{\otimes n}$$

Ansatz 설계는 VQE 성능에 결정적 영향을 미친다. 대표적인 형태는 다음과 같다.

종류	특징
Hardware-Efficient Ansatz	하드웨어 연결성에 맞게 설계, 회로 깊이가 낮아 잡음에 강함
UCCSD Ansatz	Unitary Coupled Cluster 화학 이론 기반, 물리적 타당성이 높음

해밀토니안의 파울리 분해

해밀토니안 $H$를 파울리 연산자의 선형 결합으로 표현한다.

$$H=\sum _k{c}_k{P}_k,P_k\in \{I,X,Y,Z{\}}^{\otimes n}$$

각 파울리 항의 기댓값 $⟨P_k⟩$은 별도의 측정 회로로 추정하고, 가중 합산하여 $E(\theta )$를 계산한다. 항의 수 $K$가 클수록 총 측정 횟수는 선형 증가한다.

최적화 루프

전체 루프는 다음 순서로 반복된다.

1. 양자 회로 실행: $U(\theta )$로 시험 상태 준비 후 파울리 기댓값 측정
2. 비용 함수 계산: $E(\theta )={\sum }_k{c}_k⟨P_k⟩$
3. 고전 최적화: COBYLA, SLSQP, SPSA 등으로 $\theta$ 갱신
4. 수렴 조건 충족까지 반복

---

예시·응용

수소 분자(H₂) 기저 상태 에너지 계산

H₂는 VQE 벤치마크의 표준 예제다. STO-3G 기저 함수와 Jordan-Wigner 변환을 사용하면 4큐비트 해밀토니안으로 매핑된다.

from qiskit.circuit.library import TwoLocal
from qiskit_algorithms import VQE
from qiskit_algorithms.optimizers import SLSQP
from qiskit.primitives import Estimator
from qiskit_nature.second_q.drivers import PySCFDriver
from qiskit_nature.second_q.mappers import JordanWignerMapper

# 분자 구조 설정 (H-H 결합 거리 0.735 Å)
driver = PySCFDriver(atom="H 0 0 0; H 0 0 0.735", basis="sto3g")
problem = driver.run()

# Jordan-Wigner 변환으로 큐비트 해밀토니안 획득
mapper = JordanWignerMapper()
qubit_op = mapper.map(problem.second_q_ops()[0])

# Ansatz 및 VQE 설정
ansatz = TwoLocal(qubit_op.num_qubits, ["ry", "rz"], "cx", reps=2)
optimizer = SLSQP(maxiter=300)
vqe = VQE(Estimator(), ansatz, optimizer)

result = vqe.compute_minimum_eigenvalue(qubit_op)
print(f"기저 상태 에너지: {result.eigenvalue:.6f} Hartree")
# 출력 예: 기저 상태 에너지: -1.137270 Hartree

수렴 후 약 $-1.137$ Hartree를 얻으며, 이는 정확한 FCI(Full Configuration Interaction) 결과와 거의 일치한다.

주요 응용 분야

• 양자 화학: 분자 에너지 곡면(PES) 계산 및 반응 경로 탐색
• 재료 과학: 강상관 전자계(Hubbard 모델), 고온 초전도체 모델링
• 조합 최적화: QUBO 문제를 이징(Ising) 해밀토니안으로 인코딩하면 VQE 적용 가능

---

정리

VQE의 핵심은 변분 원리를 통해 최적화 문제를 양자 측정과 고전 최적화로 분리한다는 점이다. 그러나 다음과 같은 병목이 존재한다.

• 배런 고원(Barren Plateau): 큐비트 수와 회로 깊이가 증가할수록 비용 함수의 경사가 지수적으로 소멸하여 최적화가 사실상 불가능해진다.
• 측정 오버헤드: 파울리 항이 많을수록 총 측정 횟수가 급증한다.
• Ansatz 표현력 한계: 회로가 충분히 표현적이지 않으면 진정한 기저 상태에 도달하지 못한다.

이러한 한계를 극복하기 위한 적응형 Ansatz(ADAPT-VQE), 오류 완화(Error Mitigation), 측정 분산 감소 기법 등이 현재도 활발히 연구되고 있다.