쇼어 알고리즘·RSA 복호화 발명, 미국 특허 적격성 관문 높아…S.1546 개혁 법안 상원 대기

쇼어 알고리즘의 작동 원리와 암호 위협

쇼어 알고리즘은 큰 정수의 소인수 분해 문제를 주기 탐색 문제로 환원해 고전 알고리즘 대비 지수적으로 빠르게 처리한다. 구체적으로는 첫 번째 양자 레지스터에 하다마드 게이트를 적용해 중첩 상태를 만들고, 두 번째 레지스터에 모듈러 지수 연산용 유니터리 연산을 반복 적용한다. 이후 역 양자 푸리에 변환으로 위상 추정을 수행해 주기를 뽑아내고, 이 주기값을 고전 알고리즘에 넘겨 소인수를 최종 도출한다. RSA 같은 공개키 암호 체계가 대형 정수 분해의 어려움에 기반하는 만큼, 이 알고리즘은 현존 암호 인프라에 직접적인 위협이 된다.

Mayo/Alice 법리가 가로막는 특허 등록

이 발명을 특허로 출원할 경우, USPTO 심사관은 수론적 문제를 다루는 수학적 방법에 불과하다는 이유로 특허 부적격 판단을 내릴 가능성이 높다. 중첩, 제어 유니터리 게이트, 양자 푸리에 변환은 이미 공지된 양자컴퓨팅 기법이며, 이를 조합한 개선점은 결국 수학적 처리 효율 향상에 그친다는 것이다. 나아가 핵심 수학적 원리를 사실상 독점하는 선점 효과에 대한 우려도 부적격 판단을 강화하는 근거가 된다.

흥미로운 점은 USPTO 자체 심사 지침에서 RSA 암호화 방법—쇼어 알고리즘과 기능적으로 대응하는 발명—은 특허 적격으로 인정한 사실이다. 평문 수신, 메시지 블록 변환, 암호문 전송 등 실체적 시스템 단계가 추상적 수학 개념을 통신 채널을 통한 실용 응용에 통합시킨다고 본 것이다. 이 논리를 역으로 원용하면 쇼어 알고리즘도 RSA 복호화 컴퓨터의 효율 개선이라는 실용적 목적에 통합됐다고 주장할 수 있다. 그러나 현행 Mayo/Alice 프레임 아래서는 여전히 높은 장벽이 남는다고 분석은 결론짓는다.

의회 입법 가능성과 산업적 함의

분석은 양자컴퓨터가 실용적 운용 단계 직전에 있으며, 하드웨어와 알고리즘 양쪽의 특허 보호가 산업 성장의 핵심 동력이 될 것이라고 전제한다. 그러나 미국 특허 적격성 법리의 불확실성이 다수 양자컴퓨팅 발명의 보호를 구조적으로 가로막고 있다.

이에 대응해 119대 의회에는 2025년 5월 1일 특허적격성복원법(Patent Eligibility Restoration Act of 2025, S.1546)이 발의되어 상원 사법위원회에 계류 중이다. 그러나 의회 내 교착 상태로 입법화 시점과 방향이 모두 불투명한 상황이다.

기업 IP 전략의 실천적 방향

입법 공백이 이어지는 동안 양자컴퓨팅 기업들은 특허 출원 단계에서 두 가지를 병행해야 한다. 첫째, 진화하는 특허 적격성 판례의 흐름을 지속적으로 추적해야 한다. 둘째, 단순 알고리즘 서술에서 벗어나 특정 양자 하드웨어 동작의 구체적 개선, 시스템 구성 요소와의 통합, 그리고 명확한 실용 응용으로의 연계를 출원 명세서에 전략적으로 기술해야 한다.