GPU 경쟁이 다가 아니다? 요즘 AI 인프라 시장에서 벌어지는 일

한동안 AI 인프라 시장에서는 최신 GPU를 얼마나 많이 확보하느냐가 중요한 경쟁력이었습니다. GPU가 대규모 AI 학습을 위한 핵심 자원으로 주목받았기 때문인데요. 빅테크부터 신생 클라우드 기업까지 GPU와 데이터센터에 막대한 돈을 쏟아부었죠.

그런데 최근에는 AI 학습만큼 AI를 효율적으로 운영하는 일도 중요해지고 있습니다. 이에 따라 필요한 AI 인프라도, 기업들이 서비스를 제공하는 방식도 조금씩 달라지고 있는데요. The Readout에서 GPU 쟁탈전 이후 AI 인프라 시장에서는 어떠한 변화가 일어나고 있는지 살펴보았습니다.

GPU 전문 네오클라우드가 뜬다!

GPU 인프라를 중점적으로 제공하는 네오클라우드(Neocloud) 기업들이 빠르게 성장하고 있습니다. 한 조사에 따르면 클라우드 매출 상위 기업의 약 23%가 네오클라우드 제공사라고 하는데요. 네오클라우드 시장 규모는 2030년까지 2,500억 달러에 달할 전망입니다.

지난 9월, 영국의 네오클라우드 기업 엔스케일(Nscale)은 미국 증시 상장을 앞두고 33억 6천만 달러 규모의 자금을 조달했습니다. 엔비디아(NVIDIA)도 이 가운데 10억 달러를 투자했다고 하죠. 엔스케일은 투자금을 활용해 데이터센터와 GPU 인프라를 확대해 나갈 계획입니다. 

엔스케일의 누적 계약 규모는 1,030억 달러를 넘어섰습니다. 주요 고객으로는 마이크로소프트(Microsoft)와 앤트로픽(Anthropic)이 있는데요. 특히 앤트로픽에는 앞으로 6년간 약 450억 달러 규모의 GPU 기반 AI 컴퓨팅 용량을 제공할 예정입니다.

요즘 AI 인프라의 키워드는 추론?

얼마 전, 모달 랩스(Modal Labs)는 7억 5천만 달러 규모의 투자 유치를 추진 중이라고 밝혔습니다. AI 모델과 애플리케이션을 실행하는 데 필요한 컴퓨팅 인프라를 제공하는 회사인데요. 코그니션(Cognition), 수노(Suno) 등 유망 AI 기업들을 고객사로 두고 있으며 기업가치는 최근 몇 달 새 3배 이상 증가했습니다.  

모달 랩스는 GPU 인프라를 수요에 맞춰 자동으로 늘리거나 줄일 수 있다는 특징이 있습니다. AI 서비스를 제공하는 기업들은 서비스 이용량에 따라 추론 수요가 시시각각 변동되는데요. 최대 사용량에 맞춰 미리 GPU를 확보해두지 않아도, 그때그때 필요한 만큼만 컴퓨팅 자원을 이용할 수 있는 것입니다.

이처럼 AI 인프라의 무게 중심이 AI 학습을 넘어 AI 실행 영역까지 넓어지고 있는데요. 실제로 가트너(Gartner)는 올해 AI에 특화된 클라우드 인프라 지출 가운데 추론이 약 233억 달러로, 학습용 190억 달러를 처음 넘어설 것이라고 전망했습니다.

CPU까지 확장된 AI 인프라 경쟁

최근 앤트로픽과 아카마이(Akamai)는 116억 달러 규모의 클라우드 계약을 체결했습니다. 향후 7년간 앤트로픽이 클로드(Claude) 등 AI 서비스 운영을 위한 컴퓨팅 용량을 아카마이로부터 공급받는다는 내용인데요. GPU가 아닌 CPU 워크로드를 지원하는 데 초점이 맞춰져 있습니다. 

GPU가 AI 학습과 추론에 중요한 역할을 한다면, 실제 AI 서비스를 운영하는 과정에서는 다양한 컴퓨팅 작업이 발생합니다. 특히 AI 에이전트가 여러 단계에 걸쳐 업무를 수행하면서 필요한 컴퓨팅 규모가 더 커지고 있는데요. 앤트로픽 역시 이러한 수요 증가에 대응하기 위해 대규모 CPU 용량을 추가로 확보한 것입니다.

참고로 이번 건은 아카마이 창사 이래 최대 규모의 계약이라고 하죠. CDN 사업으로 성장해 온 아카마이가 이제는 AI 인프라 사업으로도 영역을 넓히고 있음을 보여주는데요. 아카마이는 지난 3월, 전 세계 4천여 개 엣지 거점을 활용해 AI 추론 작업을 분산 처리하는 인프라 전략을 공개하기도 했습니다.

GPU는 여전히 AI 인프라의 핵심 자원이지만, 시장의 흐름은 단순히 GPU 확보를 넘어 다양한 방향으로 확대되고 있습니다. 앞으로는 AI 학습과 추론, 운영에 필요한 컴퓨팅 자원을 얼마나 효율적으로 구성하고 활용하느냐가 새로운 AI 경쟁력이 될 것으로 보입니다.

The Readout은 IT 이슈들을 모아 패턴을 짚어보는 IT Dot Story의 연재 시리즈입니다. 새로 올라오는 포스트를 빠르게 받아보고 싶다면 구독해 주세요!