AI 붐으로 NVIDIA Tesla V100 인기와 가격 상승, 32GB VRAM 탑재 PCIe 및 SXM2 버전 구매 가능, 200달러 프리미엄 추가
🇰🇷 한글 번역
RTX 5090은 거의 NVIDIA의 마켓플레이스에서 자취를 감췄고, RTX 6000 PRO는 가격이 너무 비싸 모든 LLM(대규모 언어 모델) 시스템에 탑재되기 어렵기 때문에, 이 상황은 Tesla V100이 탄탄한 부활을 이루기에 완벽한 기회를 제공했다. 32GB의 HBM2 메모리를 탑재한 이 GPU는 과도한 금액을 지출하지 않고 로컬 AI 모델을 실행하려는 소비자를 위해 PCIe와 SXM2 폼 팩터 모두에서 구매할 수 있다. 하지만 항상 함정이 있는 법이며, 최고급 GPU들이 일반 구매자에게는 손이 닿지 않는 상황에서 Tesla V100에는 200달러의 프리미엄이 부과되고 있다.
9년 된 GPU임에도 불구하고, Tesla V100은 RTX 6000 PRO 가격의 극히 일부로 괜찮은 LLM을 실행할 수 있을 만큼 엄청난 대역폭과 GPU 메모리를 갖추고 있다.
X(구 트위터)에 @unbug가 공유한 게시물은 추론 목적으로 트럭 가득 실려 나가는 Tesla V100이 재사용되고 있다는 세부 사항을 제공한다. 이는 약 2,000달러에 LLM 시스템을 소유하고 싶은 사람들에게 최상위의 사양을 제공하기 때문이다. 비록 이 금액은 여전히 높은 편이지만, 지난 8월 16,000달러를 넘었던 RTX 6000 PRO와 같은 제품을 구매하는 것보다는 훨씬 낫다.
사진 중 하나에서는 Tesla V100이 삼중 팬 쿨러로 개조되어 PCIe 슬롯이 있는 전통적인 마더보드에 더 쉽게 부착할 수 있음을 알 수 있다. 원래 SXM2 커넥터를 탑재하여 2017년 5월 처음 발표될 당시 서버 보드를 위해 맞춤 제작되었던 V100은 그해 늦게 PCIe 3.0 x16 버전이 출시되면서 호환성 장벽이 제거되었다.
가격이 200달러 상승했음에도 불구하고, Tesla V100은 AI 모델을 실행할 때 여전히 상당한 성능을 발휘한다. 900GB/s의 메모리 대역폭을 갖춘 이 구형 GPU는 토큰 생성과 프롬프트 처리를 문제없이 처리할 것이다. 실제로 우리는 NVLink 보드를 사용하여 네 개의 Tesla V100 GPU를 결합한 구성이 벤치마킹 시 M5 Ultra 및 듀얼 DGX Spark 유닛보다 최대 230%의 성능 향상을 제공할 수 있다고 보도한 바 있다.
운 좋은 한 사람은 SXM2-to-PCIe 어댑터를 사용하여 Tesla V100의 SXM2 버전을 개조하고 RTX 4080과 함께 GPU를 함께 작동시켜 같은 270억 파라미터 모델을 적당한 토큰 생성 속도로 실행할 수 있었다. 제대로 된 LLM 시스템을 구축하고 싶지만 막대한 자금을 낭비하고 싶지 않은 사람들에게 이는 정말로 가장 좋은 '가성비' 그래픽 카드다. 안타깝게도 Tesla V100에 추가 프리미엄이 얼마나 더 부과될지 알 수 없으므로, 현지 판매자를 발견한다면 망설이지 말고 서둘러 구매해야 한다.
뉴스 출처: @unbug
더 많은 뉴스 커버리지를 피드에서 받아보려면 Google에서 Wccftech를 팔로우하세요.
📄 원문 (English)
The RTX 5090 has pretty much disappeared from NVIDIA’s marketplace, and with the RTX 6000 PRO too pricey to be found in every LLM rig, the situation has presented an excellent opportunity for the Tesla V100 to stage a solid comeback. With its 32GB of HBM2 memory, it is available in both PCIe and SXM2 form factors for consumers wishing to run local AI models without spending a ludicrous sum. Unfortunately, there’s always a catch, and with the top-end GPUs out of reach for regular buyers, a $200 premium is being slapped on the Tesla V100.
For a 9-year-old GPU, the Tesla V100 packs a ton of bandwidth and GPU memory to be able to run decent LLMs at a fraction of the RTX 6000 PRO’s price
A post shared by @unbug on X provides details of the Tesla V100 being repurposed and shipped in truckloads for inference purposes, as it offers top-notch specifications for those wanting to own an LLM rig for around $2,000. Though this figure is still on the higher side, it sure beats purchasing something like the RTX 6000 PRO, which crossed the $16,000 mark back in August.
In one of the pictures, we can see that the Tesla V100 has been modded with a triple-fan cooler, making it easier to attach to traditional motherboards featuring a PCIe slot. Originally shipping with an SXM2 connector, the V100 was tailor-made for server boards when it was first announced in May 2017. The PCIe 3.0 x16 variant arrived a bit later in the year, removing the compatibility hurdles.
Despite a $200 increase in price, the Tesla V100 continues to pack quite the punch when it comes to running AI models. With its 900GB/s memory bandwidth, the old GPU will handle token generation and prompt processing just fine. In fact, we’ve reported that when using an NVLink board that combines four Tesla V100 GPUs, the configuration can deliver up to a 230 percent performance improvement over M5 Ultra and dual-DGX Spark units when benchmarking Qwen3.8-Flash-Next.
One lucky individual also managed to mod the SXM2 version of the Tesla V100 by using an SXM2-to-PCIe adapter and running the GPU in unison with his RTX 4080, allowing him to run 27B parameter models like Qwen3.6-27B at decent token generation speeds. For those who are eager to build a proper LLM rig but don’t want to waste heaps of funds, this is honestly the best “value” graphics card to get. Unfortunately, there’s no telling when more premiums will be attached to the Tesla V100, so if you find a local seller, take the leap of faith as quickly as you can.
News Source: @unbug
Follow Wccftech on Google to get more of our news coverage in your feeds.
▶ 칩 라이브 24 홈으로 — chiplive24.com