GPU 슈퍼컴퓨터로 FeMoco·시토크롬 P450 양자화학 계산 첫 화학적 정확도 달성

해결하려 한 문제: 강상관 전자계 시뮬레이션

양자화학에서 전자들이 강하게 상관되어 있는 계(strongly correlated system)를 시뮬레이션하는 것은 고전 컴퓨팅의 한계에 가장 빨리 부딪히는 영역이다. 수십 개 이상의 전자가 서로 영향을 주고받는 활성 공간(active space)을 다루려면 계산 비용이 기하급수적으로 늘어난다. 이 때문에 촉매 반응과 반도체 동작 같은 실질적 응용에 핵심적인 분자 구조임에도 계산 자체를 포기하는 경우가 많았다.

방법론: 혼합 정밀도 DMRG와 FP64 에뮬레이션

연구팀의 핵심 전략은 밀도행렬 재정규화군(DMRG, Density Matrix Renormalization Group) 알고리즘을 NVIDIA Blackwell 하드웨어에 최적화하는 것이었다. GPU는 AI 추론용으로 설계된 INT8 저정밀 연산에 강점을 가지지만, 과학 계산에서는 FP64 배정밀도가 필요한 구간이 존재한다. 연구팀은 정밀도가 덜 요구되는 계산에는 INT8 연산을 허용하고, 정확도가 결정적인 구간에서만 소프트웨어적 FP64 에뮬레이션을 적용하는 계층적 접근법을 택했다. DGX B200 시스템에서 F2 분자의 CAS(18,18) 모델 공간을 사용한 벤치마크에서는 INT8 슬라이스 수(κ)를 조절하며 오차를 화학적 정확도 기준선 이하로 줄이는 데 성공했다.

시연 대상: FeMoco와 시토크롬 P450

연구팀이 선택한 두 화학계는 계산화학 분야의 오랜 난제다. FeMoco는 대기 중 질소를 암모니아로 전환하는 질소화효소의 활성 부위로, 비료 생산과 직결되는 촉매 반응의 메커니즘 이해에 필수적이다. 시토크롬 P450은 간에서 약물 대사를 담당하는 효소군으로 제약 연구에서 중요하다. 두 구조 모두 기존 방법으로는 계산 비용이 지나치게 커서 실용적인 시뮬레이션이 어려웠으며, 이번 연구가 FP64 에뮬레이션 기반 혼합 정밀도 DMRG로 화학적 정확도에 도달한 첫 사례라고 연구팀은 밝혔다.

의미와 한계

이 연구는 AI 가속기가 딥러닝 추론을 넘어 정밀 과학 계산에도 활용될 수 있음을 실험적으로 보여준다. 촉매 설계, 생무기화학, 자성·전자 소재 개발에서 지금까지 접근하기 어려웠던 계산이 차세대 GPU 플랫폼에서 실용화될 가능성이 생긴 것이다. 다만 현 단계에서 이 방법이 얼마나 일반화될 수 있는지, 즉 더 큰 활성 공간이나 다른 분자 유형에도 동일한 정확도를 유지할 수 있는지는 후속 연구가 필요하다. 또한 DGX B200과 같은 고가 하드웨어 의존성이 접근성을 제한할 수 있다는 점도 고려해야 한다.