비씨카드, 4비트 양자화 적용해 사내 AI 처리 속도 3배 향상

편집자 주: 여기서 '양자화'는 AI 경량화 기법

이 기사에서 사용되는 '양자화'는 양자컴퓨팅(quantum computing)과 무관한 AI 용어다. 딥러닝 모델의 가중치를 표현하는 부동소수점 숫자의 비트 수를 줄여 연산 부담을 낮추는 기법(quantization)을 국내 AI 업계에서 관용적으로 '양자화'라 부른다. 독자의 혼동을 방지하기 위해 이 점을 먼저 밝힌다.

기술 개요: 16비트에서 4비트로 정밀도 축소

비씨카드가 적용한 방식은 AI 모델 내부 파라미터를 표현하는 숫자의 비트 정밀도를 절반 이하로 줄이는 것이다. 기존 16비트 부동소수점 표현을 4비트로 압축하면 동일한 GPU 메모리에 더 많은 정보를 담거나 연산 횟수 자체를 줄일 수 있다. 핵심은 압축 과정에서 성능 손실을 최소화하는 데 있으며, 비씨카드는 한국어와 영어의 언어적 특성을 각각 반영해 압축 기준과 압축 강도를 구조별로 조정하는 자체 방식을 개발했다. 이 기술 2건에 대해 현재 특허 출원이 진행 중이다.

정량적 성과: 용량 69% 감소, 처리량 2.6배 증가

파라미터 310억 개 규모 모델을 기준으로 측정한 결과, 모델 용량은 62.5GB에서 19.5GB로 줄어 약 69%가 감소했다. 동일한 GPU 환경에서의 한국어 토큰 생성 속도는 초당 205토큰에서 530토큰으로 늘었고, 평균 응답 완료 시간은 24초에서 9초로 단축됐다. 한국어 이해·추론 등 8개 유형의 벤치마크 평가에서는 원본 모델 대비 98.7%의 성능을 유지했다.

K-AI 리더보드 성과 및 차별점

과학기술정보통신부가 주관하고 제3자 기관이 직접 평가하는 K-AI 리더보드에서 비씨카드 모델은 한국어 평가 대형 모델 부문 종합 10위, 한국어 지식 평가 항목 7위를 기록했다. 해당 리더보드에 등재된 모델 중 4비트 양자화 적용을 명시한 사례는 비씨카드가 유일하다. 경량화 모델이 대형 모델 순위표에 직접 비교될 수 있는 성능을 냈다는 점이 주목할 만하다.

실제 적용 및 한계

비씨카드는 2026년 7월부터 사내 금융 특화 생성형 AI 플랫폼인 BCGPT와 MOAI에 경량화 모델을 탑재했다. 동일한 GPU 1대로 처리할 수 있는 동시 업무량이 증가했다고 밝혔으나, 구체적인 비용 절감액이나 GPU 대수 변화는 공개되지 않았다. 또한 98.7% 성능 유지가 어떤 태스크에서 주로 손실이 발생했는지에 대한 세부 정보도 공개된 바 없어 실질적 품질 영향은 추가 검증이 필요하다. 비씨카드는 이번 기술을 외부에도 공개할 계획이라고 밝혔다.