금융 AI 모델 효율성 경쟁에서 구조적 전환주도
초 단위 정보 반영과 경량화로 최적화
연산 환경 진입 문턱 낮아지며 비대형 운용사 참여 확대 가능성

본 기사는 VoxEU–CEPR(경제정책연구센터)의 칼럼을 The Economy 편집팀이 재작성한 것입니다. 원문 분석을 참조해 해석과 논평을 추가했으며 본 기사에 제시된 견해는 VoxEU 및 CEPR과 반드시 일치하지 않음을 밝힙니다.

트랜스포머(transformer)라는 단어를 들으면 로봇 장난감이나 변압기가 떠오를지 모른다. 그러나 지금 금융시장에서 가장 주목받는 트랜스포머는 수천 개 종목의 시계열 데이터를 동시 처리해 자산 간 연관성을 학습하고 실시간으로 수익률을 예측하는 인공지능 모델이다. 특히 데이터에 존재하는 비선형 구조를 포착하는 데 강점을 보이며, 예측 정확도뿐 아니라 실행 속도와 연산 효율성 면에서도 기존 모델들과 다른 흐름을 만들고 있다.

속도와 효율로 바뀐 승부의 규칙

과거에는 예측 정확도가 전략의 성패를 갈랐다면, 지금은 ‘실행 가능성’이 핵심 변수로 떠올랐다. 데이터가 입력된 뒤 실제 거래로 연결되기까지 걸리는 체류 시간(dwell time), 즉 신호 생성과 주문 체결 사이의 지연이 수익률에 직접적인 영향을 미치기 때문이다.

트랜스포머는 이 시간을 극단적으로 단축한다. 초단타 매매(High Frequency Trading, HFT) 환경에서 밀리초 단위로 쏟아지는 데이터를 병렬로 처리하고, 실시간 신호로 변환하는 구조 덕분이다. 순환 신경망(RNN)과 달리, 트랜스포머는 행렬 곱셈 기반의 병렬 처리로 구현돼 연산 속도가 빠르다. 플래시어텐션(FlashAttention) 같은 최신 기술을 접목하면 1,024개 입력 기준 초당 처리량이 8배 이상 증가하고, 전체 지연 시간도 크게 줄어든다.

트랜스포머의 또 다른 강점은 비선형 구조를 효율적으로 학습할 수 있다는 점이다. 시장 데이터는 일정한 패턴 없이 급변하는 경우가 많고, 변수 간 관계 역시 선형으로 환원되지 않는다. 트랜스포머는 이처럼 복잡한 비선형 관계를 효과적으로 포착해, 빠른 반응과 높은 유연성을 동시에 구현할 수 있다.

예측 정밀도 역시 높은 수준이다. 딥러닝 금융 벤치마크인 DeepLOB 실험에서 트랜스포머는 LSTM 대비 샤프 지수를 2~3포인트 높였다. 하지만 실제 거래에서는 이 우위가 상쇄되는 경우가 많다. 50마이크로초 수준의 지연 시간만으로도 수익 개선 효과가 대부분 사라지기 때문이다. 정밀도가 일정 수준을 넘어서면 수익 기여도는 줄고, 실행 지연의 기회비용은 기하급수적으로 증가한다는 점에서, 속도와 효율이 더 중요한 경쟁 요소로 부상하고 있다.

경량화로 넓어진 기회의 문

트랜스포머는 이제 ‘가볍고 빠른’ 방향으로 최적화되고 있다. ▲불필요한 계산 경로를 제거하는 프루닝(pruning), ▲정밀도를 낮춰 속도를 높이는 양자화(quantisation), ▲연산 단계를 통합하는 커널 융합(fused kernels), ▲데이터 이동을 최소화하는 메모리 고정(pin memory)의 기법을 적용하면 계산량과 전력 소비는 줄이고 실행 속도는 더욱 향상된다.

이 기술들이 적용되면 효과는 수치로 드러난다. 8비트 양자화만으로도 추론 과정에서 에너지 사용량이 약 30% 줄고, 프루닝을 적용하면 실행 지연은 평균 1.6배 빨라진다. 연산 효율은 높아지지만, 예측 정확도는 기존 수준으로 안정적으로 유지된다.

AI의 연산 효율을 나타내는 핵심 지표인 초당 부동소수점 연산량(Floating Point Operations per Second, FLOPs) 기준으로 보면 격차는 더 크다. 중형 트랜스포머 모델의 경우, 수익률 1bp를 예측하는 데 약 410만 FLOPs가 소요된다. 반면, 기존 방식인 장단기 메모리(Long Short-Term Memory, LSTM) 기반 모델은 대기열 지연까지 포함할 때 1,130만 FLOPs를 사용한다. 같은 예측 결과를 내는 데 필요한 연산량이 트랜스포머는 LSTM의 3분의 1 수준이라는 의미다.

밀리초가 무너뜨린 자본 장벽

초단타매매 시장에서 밀리초(ms)는 곧 수익을 결정짓는 단위다. 트랜스포머는 기존 순환신경망(RNN)보다 실행 지연과 오차 면에서 뚜렷한 차이를 보인다. 실제 벤치마크에 따르면, LSTM의 평균 지연 시간은 2.5ms, 실행 오차는 15bp였던 반면, 트랜스포머는 각각 0.9ms와 4bp 수준으로 개선됐다.

또한 더 이상 고비용 장비가 필수 조건이 아니다. 2020년까지만 해도 40개 GPU가 탑재된 DGX 서버가 기본 사양처럼 여겨졌지만, 지금은 중급 GPU 6대를 임대하는 것만으로도 일중 전략 운용이 가능하다. 이는 곧 전략 실행의 진입 장벽을 실질적으로 낮춘다.

실제 사례도 등장했다. 남아프리카의 한 중형 자산운용사는 런던에 서버를 임대해 유럽 시장이 열려 있는 시간대에만 연산을 수행하고, 장 마감 후 시스템을 종료하는 방식으로 운영 중이다. 초단기 전략에 필요한 연산 속도가 확보되면서 고정비 부담이 줄었고, 다양한 운용 주체들이 시장에 참여할 수 있는 구조가 현실화되고 있다.

ESG와 전력 한계가 효율을 압박

AI 성능의 한계는 이제 데이터나 알고리즘이 아닌 전력에서 온다. 미국 에너지정보청(Energy Information Administration, EIA)에 따르면 2023년 미국 내 데이터센터 전력 수요는 176TWh에 달했으며, 2028년에는 최대 580TWh까지 늘어날 것으로 전망한다. 이 전력 수요 대부분은 AI 모델의 학습과 추론 과정에서 발생한다.

이에 유럽연합의 지속가능금융 행동계획(Sustainable Finance Action Plan, SFDR)는 AI 모델의 전력 사용을 간접 탄소배출(Scope 2)에 포함시켰다. 일부 운용사는 모델 경량화를 통해 전력 사용을 30% 절감하면 동일 탄소 예산 아래에 전략 하나를 더 실행할 수 있다는 가설도 검증 중이다. 에너지 효율은 이제 선택이 아닌 제약 조건이다.

전통 자산운용까지 확산되는 기술

트랜스포머는 더 이상 초단타 매매 데스크만의 기술이 아니다. 미국의 시타델 증권(Citadel Securities)은 트랜스포머 모델을 8비트로 압축해 프로그래머블 반도체(Field programmable gate array, FPGA)에 배포하며 2024년 한 해 동안 97억 달러(약 13조원)의 수익을 기록했다. 변동성이 큰 구간에서 즉각 반응할 수 있는 구조가 높은 수익으로 이어졌다.

전통 자산운용사들도 포트폴리오 재조정을 시간 단위로 재계산하면서 연간 평균 12bp의 실행 오차를 줄이는 성과를 거두고 있다. 트랜스포머 기술은 초단타 매매 데스크에서 시작해 대형 퀀트, 멀티전략 펀드로 확산 중이다. 반면 보험사나 연기금처럼 규제를 많이 받는 기관은 자체 인프라 부족으로 브로커 인프라에 의존하거나 실행 지연으로 인해 구조적으로 초과 수익을 확보하기 어렵다.

다음 싸움은 '작고 빠른 AI'

기술 발전의 다음 싸움은 더 큰 모델이 아니라 더 적은 자원으로 더 많은 결과를 내는 '효율적 AI'다. 희소성 적응 어텐션(sparsity-adaptive attention)은 시장이 급변할 때만 추가 연산을 수행해 불필요한 FLOPs를 줄이고, 뉴로모픽 가속기(neuromorphic accelerator)는 신용카드 크기 장비에서도 5와트 미만으로 추론을 수행할 수 있게 한다. 연합학습(federated learning)은 주문 데이터를 직접 주고받지 않고 암호화된 정보만 교환해 프라이버시 보호와 규제 대응을 동시에 해결한다. 여기에 플래시 어텐션, BASED 등 선형 어텐션 커널을 활용하면 라즈베리파이 같은 저사양 장비에서도 트랜스포머를 운영할 가능성도 열리고 있다.

속도와 효율이 새로운 기준

정밀도 중심의 경쟁은 끝났다. 금융시장에서 AI 모델의 경쟁력은 이제 ‘얼마나 빠르게 실행할 수 있 신호를 만들고, 얼마나 적은 자원으로 그것을 반복할 수 있느냐’에 달려 있다. 트랜스포머는 이 변화의 최전선에서 속도와 효율을 통해 새로운 기준을 세우고 있다. 효율이 곧 수익이고, 연산 최적화가 곧 전략의 본질이 되는 시대가 도래한 것이다.

원문의 저자는 브라이언 켈리(Bryan Kelly) 예일대학교(Yale University) 교수 외 3명입니다. 영어 원문 기사는 Artificial intelligence and asset pricing: The power of transformers | CEPR에 게재돼 있습니다.