Nvidia GPUs are everywhere. Here are the ways companies are accessing them
🇰🇷 한글 번역
엔비디아의 GPU는 인공지능 분야에서 가장 각광받는 프로세서이며, 수요가 워낙 많아 이 칩 제조업체의 주가가 이번 주 또 다른 기록을 경신하며 시가총액이 6조 달러에 가까워졌다.
고객들은 이제 아마존, 마이크로소프트, 구글의 거대 클라우드 서비스는 물론, 코어웨이브와 같은 이른바 ‘뉴클라우드’에서 칩에 대한 접근 권한을 구매할 수 있다. 또한 다양한 온라인 마켓플레이스를 이용하거나 고가의 하드웨어를 직접 구매하는 방법도 있다.
엔비디아에게 이러한 모든 요소는 지속적인 성장으로 이어지고 있다. 경영진은 10월 분기 매출이 1,080억 달러에 달할 것으로 예상하며, 이는 전년 동기 대비 89% 증가한 수치다.
하지만 선택의 과잉은 컴퓨팅 파워가 시급한 기업들에게 두통을 유발할 수 있다.
클라우드 인프라 제공업체들은 수년간 엔비디아의 고객 목록 상위권을 유지해 왔지만, 비즈니스 구조는 다각화되고 있다. 한 filings에 따르면, 7월 분기 엔비디아의 미수금 중 10% 이상을 차지하는 고객이 5개로 증가했으며, 이는 1월의 3개에서 늘어난 수치다.
산업 연구 기관 세미애널리시스(SemiAnalysis)에 따르면 9월 기준 엔비디아 GPU 제공업체는 209개에서 323개로 증가했으며, 이는 불과 11개월 전보다 늘어난 숫자다.
“수천억 달러의 잔여 수주를 보유한 매우 흥미로운 뉴클라우드들이 많이 등장할 것입니다.”라고 엔비디아 최고경영자(CEO)인 젠슨 황은 지난달 샌프란시스코에서 열린 골드만 삭스 기술 컨퍼런스에서 말했다.
GPU에 접근하기 위한 다양한 옵션과 각 옵션이 적합한 이유를 간략히 소개한다.
초대형 클라우드 기업(Hyperscalers)
많은 대형 기업들은 아마존, 구글, 마이크로소프트로부터 다양한 클라우드 서비스를 구매하는 데 매년 수천만 달러를 지출한다. 2022년 챗GPT 출시 이후 기업들은 생성형 AI 워크로드를 실행하기 위해 점점 더 초대형 클라우드 기업들의 GPU를 활용하고 있다.
최상위 클라우드 제공업체들은 명성이라는 장점을 갖추고 있다. 소프트웨어 회사가 GPU 및 기타 기능을 위해 아마존과 마이크로소프트에 의존한다면, 잠재적 고객들이 공급업체를 문제 삼아도 당황할 필요가 없다.
“기업과 대화할 때, 당신의 하위 프로세서는 반드시 애저(Azure)여야 합니다.”라고 AI 어시스턴트 스타트업 아바쿠스(Abacus)의 CEO 빈두 레디는 마이크로소프트의 클라우드 인프라를 언급하며 말했다.
지난해 주요 AI 연구소인 앤트로픽(Anthropic)과 오픈AI는 아마존과 마이크로소프트에 5,000억 달러 이상을 지출하기로 약속했다. 산업 연구 기관 가트너(Gartner)에 따르면 이 두 기업은 2025년 클라우드 인프라 시장의 59%를 장악했다.
“초대형 클라우드 기업들은 10년 이상의 풀스택(full-stack) 역량을 바탕으로 기업들에게 신뢰를 보여줄 수 있는 좋은 위치에 있습니다.”라고 가트너의 분석가 하르디프 싱은 말했다. 하지만 초대형 클라우드 기업들이 항상 기업이 요구하는 만큼의 GPU를 보유하고 있는 것은 아니라고 그는 덧붙였다.
앤디 자시 아마존 CEO는 지난 7월 분석가들에게 자사 리테일 및 클라우드 선구자로서 올해 예상되는 모든 수요를 충족시킬 수는 없을 것이라고 밝혔다.
“이러한 역학 관계는 2027년에도 동일하게 적용될 것이라고 믿습니다.”라고 그는 말했다.
주요 뉴클라우드(Flagship neoclouds)
만약 초대형 클라우드 기업들이 충분했다면, 뉴클라우드들이 이렇게 확산되지 않았을 것이다.
주요 IT 환경과 독립적으로 AI 에이전트가 작동하는 가상 샌드박스를 운영하는 스타트업 모달(Modal)은 CEO 에릭 베른하르드손에 따르면, 초대형 클라우드 기업들에서 운영하다 주요 뉴클라우드들과 계약을 맺었으며, 현재 25개의 뉴클라우드를 사용하고 있다.
“수백 개의 GPU, 혹은 아마도 1,000개를 얻을 수는 있지만, 우리 규모에서는 훨씬 더 많은 GPU가 필요했습니다.”라고 그는 말했다.
초대형 클라우드 기업들 자신도 뉴클라우드를 추격하고 있다. 구글과 마이크로소프트는 서로 경쟁하면서도 코어웨이브(CoreWeave)를 활용하기 시작했다.
네덜란드에 본사를 두고 미국에서 운영 중인 네오클라우드(Neocloud)인 네비우스(Nebius)의 최고수익책임자(CRO) 마크 보로디츠키는 “일부 초거대 클라우드 기업들은 자신이 필요할 때 해당 고객을 서비스할 능력이 없기 때문에 걱정하는 고객들을 대신 관리해 달라고 우리에게 요청해 왔다”고 말했다.
알베르토 타이우티 최고경영자(CEO)에 따르면, 비디오 생성 스타트업 리액터(Reactor)는 네비우스와 초거대 클라우드들을 통해 GPU를 사용하고 있다. 타이우티는 데이터 센터의 위치가 중요한데, 리액터는 사용자가 생성한 영상이 즉시 나타나기를 원하기 때문이라고 설명했다. 그는 네비우스가 필요한 특정 GPU를 제공하고, 견고한 고객 서비스와 충분한 하드웨어 및 소프트웨어를 좋은 가격에 제공한다고 말했다.
베른하르손은 가장 눈에 띄는 네오클라우드들은 일부 선불금을 요구할 수 있으며, 공급업체들이 계약에 기반하여 자금을 조달하고 데이터 센터 장비를 구축하는 과정에서 칩이 실제 가동되기까지 수개월이 걸릴 수 있다고 말했다.
코어웨이브(CoreWeave)의 최고경영자 마이클 인트라토르는 8월 실적 발표 통화에서 당장의 용량이 사실상 매진되어 있다고 밝혔다. 코어웨이브의 집행임원인 첸 골드버그는 하루의 통보만으로 1만 개의 GPU를 신규 고객에게 넘기는 것은 어려울 것이라고 말했다.
작은 네오클라우드들
기업들이 즉시 GPU를 원한다면, 유명 브랜드를 넘어선 곳을 찾아야 할 수도 있다. 일부 네오클라우드들은 특정 국가를 대상으로 하기 때문에 대중적인 이름은 아니지만, 특정 상황에서는 생존 가능한 전략이 될 수 있다.
런팟(Runpod)의 CEO 진 루는 “현재 용량은 매우 빡빡하며, 우리 같은 기업들에게 공급업체와의 관계는 가장 철저히 보호되는 비밀 중 하나”라고 말했다.
전문가형 네오클라우드들은 종종 선불금과 장기 계약을 요구하는 대규모 GPU 클라우드들보다 더 많은 유연성을 제공할 수 있다. 일부는 고객이 더 많은 통제를 가능하게 하지만 동시에 더 많은 기술적 작업을 직접 관리해야 하는 이른바 베어메탈 GPU를 판매하기도 한다.
이러한 작은 네오클라우드들을 사용하는 기업들은 공통된 우려를 공유한다. 언제 GPU를 확보할 수 있으며, 그 가격은 얼마인가? 매스드 컴퓨트(Massed Compute)의 공동 창업자이자 기술 책임자 선니 스미스는 고객들이 가격이 오를 것으로 예상할 때 용량에 대한 계약을 체결하는 데 종종 동의한다고 말했다.
소유자 가져오기
세계 최대 클라우드 공급업체 중 하나인 오라클은 고객들이 자체 GPU를 가져오도록 허용하고 있다. 소프트웨어 기업인 오라클은 아마존이나 마이크로소프트보다 부채가 많고 신용 등급이 낮아 GPU 지출을 대폭 늘릴 유연성이 부족하다. 하지만 그 기술의 운영에는 적극적이다.
오라클의 최고재무책임자(CFO) 힐러리 맥슨은 6월 실적 발표 통화에서 “우리는 일반적으로 자체 하드웨어 가져오기(Bring-your-own-hardware)와 같은 경우 마진을 유지하고 개선할 수 있으므로, 이러한 유형의 구조에 대한 투자자본수익률(ROIC)은 더욱 높아질 것”이라고 분석가들에게 말했다.
오라클은 이 경로를 선택한 기업들의 이름을 공개하지 않았다. 오라클 주식을 매수할 것을 권고하는 깅겐하임 증권(Guggenheim Securities)의 애널리스트 존 디푸치는 최상위 GPU 생산업체인 AMD와 엔비디아가 자체 GPU를 오라클에 가져오는 것이 합리적일 것이라고 말했다.
수천 개의 GPU를 구매하는 대신, 자본이 제한된 초기 단계 스타트업들은 클라우드를 통해 몇 시간 단위로 빌려 더 낮은 가격으로 사용할 수 있다. 그리고 중대형 컴퓨팅 수요가 있는 기업들에게 오라클의 새로운 방식은 전체 데이터 센터를 구축하는 것보다 더 매력적일 수 있다. 오픈AI는 5년 동안 오라클에 3,000억 달러 이상을 지출하기로 약속했지만, 자체 GPU를 가져오는 것에 대해서는 언급하지 않았다.
오픈AI는 논평을 거부했다.
이 방식은 AI 칩을 구매할 자본은 있지만, 충분한 전력, 데이터센터 공간, 숙련된 인력이 부족한 기업들에게는 타당성이 있을 수 있다. 초거대 클라우드 기업들과 마찬가지로 오라클도 이 세 가지 요소를 건강한 수준으로 확보하기 위해 치열하게 경쟁하고 있다.
전술적 거래
또 다른 부상하는 옵션은 막대한 양의 GPU를 보유하고 있는 기업들과 대규모 계약을 맺고 이를 임대하는 것이다.
스페이스엑스는 초거대 기업인 구글과 오픈소스 스타트업인 리플렉션과 별도의 계약을 통해 잉여 용량을 제공하기로 했다.
4월, 스페이스엑스는 코서(Cursor)에 GPU를 제공하기로 합의한 뒤, 이어 AI 코딩 스타트업인 코서를 600억 달러에 인수했다. 그리고 5월, 스페이스엑스는 앤트로픽(Anthropic)에 GPU를 임대하는 계약을 체결했으며, 이는 2029년 중반까지 매월 12억 5천만 달러에 달한다. 이는 대부분의 스타트업이 감당할 수 있는 금액을 훨씬 상회하는 액수다.
하지만 스페이스엑스에게는 이러한 숫자가 잘 맞아떨어진다.
회사의 최고재무책임자(CFO)인 브렛 존센은 8월 분석가들에게 “현재의 경제성으로 인해 컴퓨팅을 위한 신규 자본 투입에 대한 회수 기간이 1년 미만으로 나타났다”고 말했다.
스페이스엑스만이 아니다. CNBC는 7월 메타가 AI 컴퓨팅 성능을 판매할 수 있는 클라우드 부문을 구성하기 위해 노력하고 있다고 보도했다.
구식 방식의 선택
한편, 기업들은 최고경영자(CEO)들이 성능과 비용 통제 사이의 균형을 맞추는 가운데, 전통적인 방식으로 온프레미스 데이터센터에 GPU가 탑재된 서버를 계속 설치하고 있다.
하드웨어 제조사 레노보의 인프라솔루션그룹(ISG)은 6월 분기 동안 기업 및 중소기업 부문에서 매출이 거의 두 배로 증가했다. 레노보의 부사장인 블라드 로자노비치는 “우리는 이제 점점 더 많은 기업들이 ‘내 사내에서 AI를 어떻게 도입할 것인가?’라고 말하기 시작하는 것을 보고 있다”고 말했다.
인덱스를 유지하는 스타트업인 오른(Ornn)의 데이터에 따르면, 엔비디아 B200 GPU의 시간당 스팟 가격은 3월 이후 두 배 이상 상승했다.
협업 소프트웨어 제조사 드롭박스의 CEO 아슈라프 알카르미는 회사가 데이터센터에서 GPU를 활용하고 있다고 밝혔다.
“우리가 훨씬 더 많은 일을 하길 원한다면, 제 생각에는 우리의 공급망 연결고리가 여전히 유익하며 구조적 우위가 될 것”이라고 그는 말했다.
데이터센터 스토리지 하드웨어 및 소프트웨어를 판매하는 에버퓨어의 CEO 찰리 진카를로는 회사가 자체 GPU를 확보하여 사내 소프트웨어 엔지니어들을 위해 오픈 웨이트 AI 모델을 실행하고 있다고 밝혔다.
“매우 역동적인 가격 환경에서 접근할 수 있는 다중 출처를 보유하는 것은 항상 좋은 일”이라고 그는 덧붙였다.
시청: 하이트워의 스테파니 링크: 엔비디아가 성장과 자신감을 보이고 있어 기쁘다
📄 원문 (English)
Nvidia GPUs are the most sought-after processors in AI, and they're in such demand that the chipmaker's stock climbed to yet another record this week, lifting its market cap close to $6 trillion.
Customers can now shop around for access to the chips at the giant clouds from Amazon, Microsoft and Google, as well as at so-called neoclouds like CoreWeave. They can also go to various online marketplaces or even buy the costly hardware directly.
For Nvidia, it all adds up to unrelenting growth, as management anticipates $108 billion in revenue for the October quarter, which would mark an 89% year-over-year jump.
But the paradox of choice can be a headache for companies needing computing power yesterday.
While cloud infrastructure providers have ranked at the top of Nvidia's customer list for several years, the business is diversifying. Five clients accounted for at least 10% of Nvidia's accounts receivable in July quarter, up from three in January, according to a filing.
Industry research firm SemiAnalysis counted 323 Nvidia GPU providers as of September, up from 209 less than 11 months earlier.
"You're going to see a whole new crop of really, really exciting neoclouds with hundreds of billions of dollars backlog together," Nvidia CEO Jensen Huang said at a Goldman Sachs tech conference in San Francisco last month.
Here's a rundown of the various options for accessing GPUs, and why each might make sense:
Hyperscalers
Many big companies spend tens of millions of dollars per year on a smorgasbord of cloud services from Amazon, Google and Microsoft. Since the 2022 launch of ChatGPT, companies have increasingly turned to the hyperscalers for GPUs so they can run generative AI workloads.
The top cloud providers come with a reputation advantage. If a software company relies on Amazon and Microsoft for GPUs and other capabilities, it won't need to panic about prospective customers questioning its suppliers.
"When you're talking to enterprises, your subprocessor had better be Azure," said Bindu Reddy, CEO of AI assistant startup Abacus, referring to Microsoft's cloud infrastructure.
In the past year, leading AI labs Anthropic and OpenAI have committed to spending over $500 billion between Amazon and Microsoft, which controlled 59% of the cloud infrastructure market in 2025, according to industry researcher Gartner.
"Hyperscalers are in a good position to show trust to the enterprises because of their 10-plus years of full-stack capabilities," said Gartner analyst Hardeep Singh. But hyperscalers don't always have as many GPUs as enterprises require, he said.
Andy Jassy, Amazon's CEO, told analysts in July that the retailer and cloud pioneer won't be able to serve all the demand it foresees this year.
"I believe this dynamic will also be true in 2027," he said.
Flagship neoclouds
If the hyperscalers were adequate, neoclouds wouldn't be proliferating.
Modal, a startup operating virtual sandboxes where AI agents work independent of main IT environments, went from running on the hyperscalers to signing up with the major neoclouds, and now it uses 25 of them, said CEO Erik Bernhardsson.
"You can get a few hundred GPUs or maybe a thousand, but at our scale, we needed way more GPUs," he said.
The hyperscalers themselves are also chasing the neoclouds. Google and Microsoft have started tapping CoreWeave, even as they all compete with one another.
"Some of the hyperscalers have approached us about taking care of customers they're worried about because they don't have the ability to service those customers when they need it," said Marc Boroditsky, chief revenue officer of Nebius, a Netherlands-based neocloud with operations in the U.S.
Video generation startup Reactor uses GPUs through Nebius and hyperscalers, said CEO Alberto Taiuti. The location of data centers matters, he said, because Reactor wants user-created videos to show up right away. Nebius delivers the specific GPUs Reactor needs, solid customer service and sufficient hardware and software, at a good price, Taiuti said.
The most visible neoclouds can require some upfront payment, and chips might not come online for months, because providers raise funding based on contracts and set up the data center equipment, Bernhardsson said.
It would be difficult for CoreWeave to turn over 10,000 GPUs to a new customer with one day's notice, said Chen Goldberg, an executive vice president. CoreWeave's near-term capacity remains essentially sold out, CEO Mike Intrator said on the company's August earnings call.
Baby neoclouds
If companies want GPUs immediately, they might have to go beyond the name brands. Some neoclouds aren't household names because they target specific countries, which can be viable in certain cases.
"Capacity right now is tight, and your relationships with your suppliers is actually one of the most closely guarded secrets for companies like ours," said Zhen Lu, CEO of Runpod.
Specialist neoclouds can offer more flexibility than the larger GPU clouds, which often require upfront payments and long-term commitments. Some sell so-called bare-metal GPUs, which give customers more control but also require them to manage more of the technical work themselves.
Companies using these smaller neoclouds share the same concerns: When can they get the GPUs, and at what price? Sunny Smith, co-founder and technology chief at Massed Compute, said customers are often willing to commit to capacity when they expect prices to rise.
Bring your own
Oracle, one of the world's largest cloud providers, is letting clients bring in their own GPUs. The software maker has more debt than Amazon or Microsoft, and its credit rating is lower so it has less flexibility to go on a GPU spending spree. But it's happy to operate the technology.
"As we're generally able to preserve and improve margins in the case of things like bring-your-own-hardware, the ROIC for those types of structures will be even higher," Oracle CFO Hilary Maxson told analysts on a June earnings call, using the acronym for return on invested capital.
Oracle hasn't disclosed the names of companies that choose this path. John DiFucci, a Guggenheim Securities analyst who recommends buying Oracle shares, said it would make sense for Advanced Micro Devices and Nvidia, the top two producers of GPUs, to bring their own to Oracle.
Instead of buying thousands of GPUs, early-stage startups with limited capital can borrow them for hours at a time for less through clouds. And for companies with heavy-duty computing needs, Oracle's new route might be more attractive than building whole data centers. OpenAI committed to spending over $300 billion with Oracle over five years, but it hasn't mentioned anything about bringing in GPUs.
OpenAI declined to comment.
The method might make sense for companies that have the capital to purchase AI chips but don't have enough power, data center space or skilled labor. Like its hyperscaler peers, Oracle works hard to secure all three in healthy quantities.
Tactical deals
Another emerging option is to cut large deals with firms that have truckloads of GPUs for rent.
SpaceX arranged to turn over excess capacity in separate deals with hyperscaler Google and open-source startup Reflection.
In April, SpaceX agreed to provide Cursor with GPUs and then bought the AI coding startup outright for $60 billion. And in May, SpaceX landed a deal to rent GPUs to Anthropic for $1.25 billion each month through mid-2029. That's more than what most startups can afford.
For SpaceX, though, the numbers work out nicely.
"The current economics have translated into a less than one-year payback on our new capital deployments for compute," Bret Johnsen, the company's finance chief, told analysts in August.
It's not only SpaceX. In July CNBC reported that Meta was working to form a cloud unit that could sell AI computing power.
Going old school
Meanwhile, companies continue to install GPU-filled servers in on-premises data centers the old-school way as CEOs work to balance capability with cost control.
Revenue nearly doubled in the enterprise and small and medium business parts of hardware maker Lenovo's Infrastructure Solutions Group during the June quarter. "We're seeing more and more enterprises now starting to say, 'How do I bring AI into my four walls?'" said Vlad Rozanovich, a senior vice president.
The hourly spot price for an Nvidia B200 GPU has more than doubled since March, according to data from Ornn, a startup that maintains indexes.
Collaboration software maker Dropbox relies on GPUs in its data centers, CEO Ashraf Alkarmi said.
"If we want to do a lot more, I think our supply chain connections will still be beneficial and a structural advantage," he said.
Everpure, which sells data center storage hardware and software, has acquired its own GPUs, to run open-weight AI models for the company's software engineers, said CEO Charlie Giancarlo.
"In a very dynamic pricing environment, it's always good to have multiple sources that you can go to," he said.
WATCH: Hightower's Stephanie Link: I like that Nvidia is showing growth and confidence
▶ 칩 라이브 24 홈으로 — chiplive24.com