양자 시뮬레이터, 화학·재료 과학의 어디까지 닿을 수 있나

왜 고전 컴퓨터는 분자를 '정확히' 계산하지 못하는가

분자 하나를 양자역학적으로 기술하려면 그 안의 모든 전자 상태를 동시에 고려해야 한다. 전자 수가 n개일 때 파동함수의 힐베르트 공간 크기는 2ⁿ에 비례하여 폭발한다. 질소 분자(N₂)처럼 전자가 14개인 시스템도 완전한 형태(full configuration interaction, full-CI)로 다루려면 수백만 개의 행렬 원소가 필요하다. 촉매 설계나 의약 분자에 등장하는 수십~수백 개의 전자를 가진 시스템은 현존하는 슈퍼컴퓨터로도 정확한 해를 구할 수 없다.

이를 우회하기 위해 화학자들은 밀도범함수이론(DFT)이나 결합 클러스터(coupled cluster) 같은 근사 방법을 오랫동안 사용해 왔다. 이 방법들은 실용적이지만 강한 상관관계(strong correlation)를 갖는 시스템 — 전이금속 착화합물, 활성 부위를 가진 효소, 모트 절연체 — 앞에서는 정확도가 급격히 떨어진다. 양자 시뮬레이션이 주목받는 이유가 여기에 있다.

양자 시뮬레이션의 두 가지 경로

양자 시뮬레이션에는 크게 두 갈래가 있다. 디지털 양자 시뮬레이션은 범용 양자 게이트 회로를 사용해 분자의 해밀토니안을 인코딩하고, 변분 양자 고유값 해석기(VQE, Variational Quantum Eigensolver)나 양자 위상 추정(QPE, Quantum Phase Estimation) 같은 알고리즘으로 바닥 상태 에너지를 구한다. 아날로그 양자 시뮬레이션은 초저온 원자, 이온 트랩, 초전도 큐비트 격자 등을 물리적으로 조작해 연구 대상 시스템의 해밀토니안과 직접 대응시키는 방식이다.

현재 NISQ(잡음이 있는 중간 규모 양자) 시대에는 VQE가 주된 도구로 쓰인다. 고전 최적화기와 양자 하드웨어를 반복적으로 결합하는 하이브리드 구조 덕분에 짧은 회로 깊이로도 근사 해를 얻을 수 있기 때문이다. IBM, Google, IonQ 등의 팀이 수소 분자(H₂), 리튬 수소화물(LiH), 질소 분자 일부 활성 공간 등에 대해 VQE 실험을 발표한 바 있다. 그러나 현재 수준의 게이트 오류율과 큐비트 수로는 화학적으로 의미 있는 정확도(화학적 정밀도, 1 kcal/mol 이내)를 복잡한 시스템에서 달성하기 어렵다는 한계도 분명히 드러났다.

재료 과학에서의 가능성: 고온 초전도와 강상관 시스템

재료 과학 분야에서 양자 시뮬레이션의 잠재 가치가 가장 높은 영역은 강상관 전자 시스템이다. 고온 초전도 현상을 설명하는 허바드 모형(Hubbard model)이 대표적이다. 이 모형은 간단해 보이지만 2차원 격자에서 전자 상관관계를 정확히 풀어내는 것은 고전 수치 기법으로도 난제로 남아 있다. 아날로그 양자 시뮬레이터, 특히 광학 격자에 가둔 초저온 원자를 이용한 실험들은 허바드 모형의 다양한 매개변수 영역을 탐색하는 데 기여하고 있다.

신소재 개발 측면에서는 배터리 전해질 분자의 분해 경로 예측, 질소 고정 촉매 메커니즘 해석, 유기 태양전지 엑시톤 동역학 계산 등이 중기 응용 후보로 거론된다. 이 시스템들은 공통적으로 강한 양자 효과와 다중 참조 전자 구조를 가져 고전 근사가 취약하다.

현실적 쟁점: 오류 수정, 큐비트 수, 알고리즘 효율

양자 시뮬레이션이 실용적 화학 문제에 '양자 우위'를 보이려면 아직 여러 조건이 충족되어야 한다. 첫째, 오류 수정(fault-tolerant) 양자 컴퓨터가 필요하다. QPE 기반의 정밀 에너지 계산은 게이트 수가 방대하여 NISQ 수준에서는 오류가 결과를 압도한다. 오류 수정 오버헤드를 고려하면 화학적으로 의미 있는 분자 시뮬레이션에 수백만 개의 물리 큐비트가 필요할 수 있다는 추산이 여러 연구에서 제시되고 있다.

둘째, 해밀토니안 인코딩 효율이 관건이다. 2차 양자화된 분자 해밀토니안을 큐비트 연산자로 변환하는 방법(Jordan-Wigner, Bravyi-Kitaev 등)에 따라 회로 깊이가 크게 달라진다. 활성 공간을 전략적으로 선택해 큐비트 수를 줄이는 방법도 연구되고 있으나, 어느 활성 공간을 택하느냐는 여전히 화학적 직관과 고전 선행 계산에 의존한다.

셋째, 고전 알고리즘의 발전도 경쟁 변수다. 텐서 네트워크 기법, 신경망 파동함수(NQS) 등 고전 방법도 빠르게 발전하고 있어 양자 컴퓨터가 명확한 우위를 보이는 '킬러 응용'의 경계선이 계속 이동하고 있다.

현재 위치와 앞으로의 논의 방향

현 시점에서 양자 시뮬레이션은 소분자 벤치마크와 모형 해밀토니안 탐색의 수준에서는 실증적 결과를 내고 있다. 그러나 산업적으로 유의미한 분자(단백질 활성 부위, 다핵 전이금속 촉매 등)를 고전 방법보다 정확하게, 그리고 실용적인 시간 안에 다루는 단계까지는 하드웨어와 알고리즘 양쪽에서 상당한 발전이 필요하다. 학계에서는 오류 수정 임계값에 도달하는 시점과 그 이후의 자원 요구량을 구체적으로 추산하는 자원 분석(resource estimation) 연구가 활발히 이루어지고 있으며, 이 숫자들이 투자와 로드맵 결정에 점점 더 직접적으로 영향을 미치고 있다.