TESLA LIVE 24.com · 24시간 반도체·SOXL 시세·속보 한국어 실시간

애플 맥 스튜디오 M5 울트라, 엔비디아 DGX 스파크와 비교한 로컬 AI 성능 벤치마크 심층 분석

Tom's Hardware · 2026.11.10 22:20 · 원문 사이트
🇰🇷 한글 번역
Apple의 M5 울트라 탑재 Mac Studio와 Nvidia DGX Spark의 로컬 AI 성능 벤치마킹 심층 분석: MLX 스택이 성숙해짐에 따라 더 큰 모델을 위해 추론 엔진 레시피가 필수적 Mac Studio는 DGX Spark보다 더 나은 투자 대상인가? 36코어 CPU와 AI 연산을 주도하는 행렬 연산용 뉴럴 가속기를 갖춘 80코어 GPU를 자랑하는 Apple의 최신 M5 울트라 SoC 탑재 Mac Studio는 이미 주변에서 가장 강력한 시스템 중 하나로 그 위력을 입증했다. 여기에 최대 512GB의 유니파이드 메모리 옵션까지 더해져, 현재 Apple이 제품을 출고하는 데 13~15주가 소요됨에도 불구하고 많은 로컬 AI 애호가들이 줄을 서고 있다. 하지만 우리가 테스트한 Mac Studio 구성이 그들에게 12,300달러 이상이라는 거액을 지불할 만한 가치가 있을까? 우리는 초기 리뷰에서 인기 있는 3.8 27B와 같은 컴팩트한 디엔스 모델로 최대 사양의 M5 울트라 칩을 이미 테스트했지만, 이 모델은 256GB의 메모리를 충분히 활용하지 못한다. 우리는 DeepSeek V4.1 Flash 1017와 GLM 5.3 Flash와 같은 최첨단 대형 모델로 이 메모리 풀을 가득 채우고 싶었다. 또한 Microsoft Surface Laptop Ultra와 Nvidia RTX Spark 칩에 대한 리뷰 이후, GPU 측면에서 에이전틱 작업에서 Mac Studio가 어떻게 경쟁하는지 살펴보기 위해 새로운 벤치마크 결과도 확보했다. 따라서 살펴볼 내용이 많다. 에이전틱 AI 성능 및 전력 효율성 우리는 더 상세한 로컬 AI 테스트를 Artificial Analysis의 AgentPerf-Local 벤치마크로 시작했다. 이 테스트는 특정 모델에 대한 기록된 추론 트레이스를 다양한 에이전틱 AI 워크로드에서 재생하여 성능을 측정한다. Artificial Analysis는 이 워크로드에 대한 전체 내역을 제공하지만, 그 작업의 대부분은 토큰 생성이 아닌 프롬프트 처리에서 이루어진다. 따라서 이 테스트는 많은 양의 원시 연산 능력을 갖춘 시스템, 즉 GB10과 M5 울트라 모두에게 유리하게 작용할 것이다. M5 울트라의 80코어 GPU는 GB10의 48개 Blackwell SM을 압도한다. 클럭에 대한 상세한 정보가 없더라도, GB10이 이 테스트에서 M5 울트라를 압도하기는 매우 어려울 것이다. 또한 Mac의 1.2TB/s 메모리 대역폭은 GB10의 273GB/s보다 디코드 대역폭이 4배 이상 많다. 그러나 과거 테스트에서 알 수 있듯이, 원시 스펙은 AI에서의 실제 성능만큼 중요하지 않다. 실제 성능은 종이 스펙과 크게 다를 수 있다. 우리는 이 테스트에서 여전히 디엔스 모델인 3.8 27B를 사용했다. Mac Studio와 DGX Spark와 거의 동일한 단일 Dell Pro Precision GB10 시스템 모두에서 llama.cpp를 추론 백엔드로 사용했다. 또한 두 플랫폼 모두에서 디코드 속도 향상을 위해 3.8 27B의 네이티브 멀티 토큰 예측(MTP) 지원을 활성화했다. 단일 DGX Spark 유사 시스템과 비교할 때, M5 울트라 Mac Studio는 이 에이전틱 테스트를 절반 이하의 시간으로 완료하여 매우 인상적인 결과를 보였다. 이러한 두 시스템 간 연산 자원과 메모리 대역폭의 불균형을 고려하면 이 비교가 어리석게 보일 수 있지만, 우리가 테스트한 것과 같은 4TB Dell Pro Precision GB10의 가격은 현재 10,000달러에 달하므로, 이를 12,000달러짜리 Mac Studio와 직접 비교하는 것은 실제로 그리 비현실적이지 않다. AgentPerf-Local은 모든 시스템에서 고정된 양의 작업을 수행하므로, 단일 Spark와 Mac Studio가 소비하는 벽면 전력을 기록하여 킬로줄 단위의 작업 에너지로 변환함으로써 플랫폼 간 전력 효율성을 직접 비교할 수도 있다. 적어도 llama.cpp의 경우, Mac Studio는 DGX Spark보다 AgentPerf-Local 테스트를 훨씬 빠르게 완료할 뿐만 아니라 전체 작업 에너지 소비도 약 16% 더 적게 사용한다. 다른 추론 엔진이라면 Spark와 유사한 시스템에 대해 더 유리한 결과를 낼 수도 있겠지만, 동일한 조건으로 비교했을 때 이 테스트 결과는 Mac Studio에게 매우 훌륭해 보인다. 각 시스템의 에너지-지연 제품(EDP)을 산출하기 위해 작업 시간과 소비된 에너지(킬로줄 단위)를 서로 곱할 수 있다. 낮은 EDP는 빠른 완료 시간과 낮은 작업 에너지를 효율성을 나타내는 단일 비교 가능한 수치로 묶어준다. 이 테스트에서 Mac Studio의 EDP는 DGX Spark의 절반 미만으로, 다시 한번 이 밀도 높은 모델과 워크로드에서 Mac Studio의 인상적인 효율성과 성능을 보여준다. DeepSeek V4.1 Flash 1017과 GLM 5.3 Flash로 규모 확장 물론 3.8 27B는 그 작업을 수행하는 데 256GB(심지어 128GB)의 RAM이 필요하지 않다. Mac Studio의 성능을 정말로 끌어내기 위해, 우리는 현재 능력 벤치마크 상위권에 있는 두 개의 더 큰 오픈 모델을 선택했다: GLM-5.3 Flash와 DeepSeek V4.1 Flash 1017이다. M5 Ultra Mac Studio는 256GB RAM에 이러한 모델의 양자화된 버전(GLM 5.3의 경우 4비트 양자화, DeepSeek V4.1 Flash의 경우 Unsloth 제공 2비트 양자화)을 네이티브로 수용할 수 있지만, 이러한 양자화조차도 단일 128GB DGX Spark에는 절대 들어가지 않는다. 여기서 Nvidia 플랫폼의 클러스터링 기능이 등장한다. 우리는 이미 Sparks를 페어링하면 로컬 추론 용량을 확장할 수 있음을 보았으며, 이러한 기능이 이와 같은 Mac Studio와 비교 평가할 때 결정적으로 중요하다. 그러나 GB10 시스템의 급등하는 가격은 테스트 기간 동안 우리의 가치 분석을 좌절시켰다. 하나의 예로, Lenovo는 테스트 동안 ThinkStation PGX 시스템 전체를 '출시 예정' 상태로 설정했다. 그리고 우리가 이미 언급했듯이, 여기서 클러스터링하는 Dell Pro Precision GB10은 각각 눈이 휘둥그레지는 1만 달러의 가격이다. 현재 변동성이 수습되면 시장의 나머지 GB10 시스템들이 훨씬 저렴해질 것이라고 믿을 이유는 없다. 어떻게 분석하든, 4TB SSD를 갖춘 DGX Spark 한 쌍을 얻는 것은 단일 Mac Studio보다 훨씬 더 많은 비용이 들게 될 것이다. 비록 듀얼 Dell 클러스터에 2만 달러가 시장의 최고가에 해당한다 하더라도. 1만 5천 달러 이상이 비교적 합리적인 기준선이지만, 그럼에도 불구하고 이는 단일 M5 Ultra Studio보다 25% 더 많은 금액이다. 우리는 아직 이러한 더 큰 모델들에 대한 엔드투엔드 에이전틱 테스트를 보유하고 있지 않지만, 방향성으로 볼 때 프롬프트 처리 및 디코드 성능을 고려하여 이러한 시스템 중 어느 것이 더 빠른 에이전틱 처리 속도를 제공할지 판단할 수 있다. Apple Silicon 호환 추론 엔진의 선택지가 제한적이기 때문에, 우리는 DeepSeek V4.1 Flash 1017에 llama.cpp를 사용해야 한다. 더 나쁜 것은, Mac Studio가 2비트 양자화라도 DeepSeek V4.1 Flash 1017 모델 가중치와 토큰 출력 향상을 위해 필요한 DSpark 예측 디코딩 모델을 동시에 보유할 수 없다는 점이다. 따라서 우리는 성능을 희생할 수밖에 없다. 반면, Spark 클러스터를 위한 DeepSeek V4.1 Flash 서빙 레시피는 DSpark 예측 디코딩과 TensorFold 추론 엔진을 활용할 수 있으며, 이는 llama.cpp보다 더 높은 성능을 제공할 수 있다. 원본 보기 원본 보기 원본 보기 원본 보기 MLX 지원이 있음에도 불구하고, Mac Studio에서 DeepSeek V4.1 Flash를 실행할 때 llama.cpp의 성능은 DGX Spark 클러스터에 비해 매우 느립니다. 더딘 프롬프트 처리 속도와 증강되지 않은 디코딩으로 인해, 이 모델로 에이전트 작업을 수행할 경우 불리한 위치에 처하게 됩니다. Mia’s AI Lab의 TensorFold를 사용한 커뮤니티의 두 대 Spark를 활용한 서빙 레시피는 Spark 클러스터를 설정하고 관리하는 데 필요한 약간의 추가 작업을 고려하더라도, 해당 시스템을 보유한 사용자에게는 주요한 자산입니다. llama.cpp가 실행되는 Mac은 DeepSeek V4.1 Flash에 대해 테스트한 가장 긴 컨텍스트 길이를 처리하는 데 10분에서 25분이 소요되는 반면, 동일한 작업을 수행할 때 Spark 클러스터는 이 레시피를 사용해 최대 5분 미만으로 처리합니다. 또한 TensorFold 추론 엔진은 디코딩 측면에서도 훨씬 빠릅니다. 이 모델을 로컬에서 실행하고 싶다면, 현재로서는 Spark 두 대가 명확한 승리자입니다. DeepSeek를 제외하고, 로컬 지능을 위한 또 다른 선도적인 오픈 모델인 GLM 5.3 Flash를 고려해 보겠습니다. GLM 5.3 Flash의 MTP는 별도의 드래프팅 모델을 필요로 하지 않으므로, DeepSeek V4.1 Flash에서 보았던 메모리 여유 공간 문제를 겪지 않고 Mac Studio에서 디코딩 부스트를 제공할 수 있습니다. Spark 클러스터의 경우, Mia's AI Lab이 개발한 레시피를 사용하여 GLM 5.3 Flash를 실행하기로 선택했습니다. 원본 보기 원본 보기 원본 보기 원본 보기 GLM 5.3 Flash는 DeepSeek V4.1 Flash보다 llama.cpp에서 훨씬 잘 실행되지만, 그럼에도 불구하고 DGX Spark 클러스터는 전반적으로 훨씬 빠른 프롬프트 처리 시간을 제공합니다. M5 Ultra의 메모리 대역폭 이점은 Mac이 디코딩 측면에서 더 높은 초당 토큰 수를 제공한다는 것을 의미하지만, 어떤 에이전트 턴도 Spark 클러스터에서 더 빨리 완료될 가능성이 높습니다. 그러나 Apple Silicon에서 GLM 5.3 Flash를 위한 TensorFold 서빙 레시피가 제공되므로, MLX 전용 4비트 모델 양자화와 이론적으로 더 높은 성능의 추론 엔진에서 얻을 수 있는 추가 성능이 얼마나 되는지 확인할 수 있습니다. 이 서빙 레시피는 llama.cpp에 비해 Mac Studio의 성능을 비약적으로 향상시킵니다. TensorFold를 사용한 프롬프트 처리 시간은 Spark 클러스터의 시간과 훨씬 가까워지며, 디코딩 처리량은 평균적으로 놀라울 정도로 세 배 빠릅니다. M5 Ultra에서 DeepSeek V4.1 Flash 1017에 대한 개선된 추론 엔진 지원과 서빙 레시피가 커뮤니티 구성원들이 이 하드웨어에서 코딩 에이전트를 가동함에 따라 제때 제공되기를 기대하며(그리고 바랄 뿐이지만), 이는 Apple Silicon에서 성능 잠재력이 명확히 존재하기 때문입니다. 결론 단일 M5 Ultra Mac Studio는 모든 요소가 잘 맞을 때 단일 DGX Spark와 비교할 때 놀라운 로컬 AI 성능과 전력 효율성을 제공할 수 있습니다. 그리고 이는 생각보다 이상한 비교가 아닙니다. 유니파이드 메모리 시스템의 가격은 급등하여, 4TB SSD가 탑재된 단일 Dell Pro Precision GB10 시스템의 가격이 이제 1만 달러를 넘어섰으며, 우리가 테스트한 Mac Studio 구성의 약 1만 2천 달러 가격에 근접하고 있습니다. RAM 및 NAND 공급 부족이 더욱 심각해짐에 따라 이러한 추세는 계속될 것으로 예상됩니다. 하지만 우리의 더 넓은 경험은 M5 Ultra의 인상적인 성능이 모든 모델과 추론 엔진에서 보장되지 않는다는 것을 보여줍니다. 특히 256GB의 RAM에 탑재하고 싶은 크고 매우 지능적인 모델들의 경우 더욱 그렇습니다. 이 맥의 프롬프트 처리 속도는 llama.cpp와 3.8 27B와 같은 작은 모델에서는 정말 빠를 수 있지만, GLM 5.3 Flash와 DeepSeek V4.1 Flash 1017와 같은 더 큰 모델의 경우 더 높은 성능의 서빙 레시피를 사용할 수 있는지 확실히 해야 합니다. TensorFold 엔진은 GLM 5.3 Flash를 매우 잘 실행하지만, 아직 DeepSeek는 전혀 지원하지 않습니다. 우리는 M4 Max Mac Studio 리뷰에서 강조했듯이, 메모리 대역폭은 AI 추론 성능의 한 요소일 뿐입니다. 이러한 매우 비싼 통합 메모리 설정에서 사용할 수 있는 성능과 모델 호환성을 완전히 평가하려면 전체 하드웨어-소프트웨어 스택을 고려해야 합니다. Apple이 AI 추론을 위한 하드웨어의 성능 격차를 좁혀가고 있지만, MLX 스택 주변의 개발 및 지원은 Nvidia 하드웨어에서 사용할 수 있는 성숙도, 성능, 모델 및 추론 엔진 옵션에追上하기 위해 아직 갈 길이 멉니다. DGX Spark 플랫폼의 지속적인 가치는 그 자체의 성능과 확장성 외에도, 플랫폼 주변의 커뮤니티 소프트웨어 개발 및 지원의 폭과 속도가 Hugging Face에 새로운 모델의 가중치가 출시된 직후에 이를 실행할 방법을 거의 확신할 수 있는 수준에 도달했다는 점입니다(적어도 필요한 메모리 용량을 제공하기 위해 스파크를 클러스터링할 수 있는 충분한 수를 가지고 있다고 가정할 때). 이러한 커뮤니티 소프트웨어 지원과 지속적인 개발, 그리고 DRAM 및 NAND 공급 부족으로 인해 128GB GB10 박스에 대한 높은 수요와 더욱 높은 가격이 형성되고 있습니다. 4TB 드라이브가 장착된 두 개의 스파크는 선택하는 파트너 시스템 및 저장 구성에 따라 15,000달러에서 20,000달러 이상으로 매우 비쌉니다. 그리고 이러한 가격은 계속 상승할 가능성이 높으며, Apple이 이러한 시스템의 가격을 인상하지 않는 한 단일 Mac Studio는 잠재적으로 매력적인 옵션이 될 것입니다. 강력한 로컬 AI 성능이 개인 워크스테이션에서 필요로 하는 유일한 요소가 아니라면, 그리고 또한 잘-rounded하고 효율적이며 조용한 컴팩트한 케이스에서 범용 작업을 위한 세계 최고의 CPU 중 하나와 강력한 GPU를 원한다면, Mac Studio는 놀라운 시스템입니다. 로컬 AI를 위한 이 시스템의 놀라운 성능 잠재력에 소프트웨어가追上하기를 기다릴 수 있고, DGX Spark 설정에 비해 더 좁은 모델 및 추론 엔진 지원을 받을 가능성이 있어도 괜찮다면, 이 시스템의 리드 타임이 작성 시점 기준으로 2027년 2월까지 길어지고 있으므로 줄을 서세요. 하지만 지금 바로 로컬 AI 추론 설정을 구축하기 위해 10,000달러 이상을 투자하려고 생각하고 있다면, 아마도 자신이나 작은 사무실을 위해, 두 개의 스파크를 클러스터링하면 필요한 메모리 용량과 컴퓨팅 파워를 제공하며, 이러한 지출이 가치 있을 것으로 기대할 수 있는 견고한 소프트웨어 지원과 넓은 모델 호환성을 얻을 수 있습니다. 이러한 확신은 Mac Studio에 비해 이러한 클러스터의 낮은 원시 성능 잠재력보다 더 가치 있을 수 있습니다. Tom's Hardware의 수석 분석가, Jeff Kampman은 그래픽 카드, 게임 성능 등 그래픽 관련 모든 것을 다루고 있습니다. 통합 그래픽 프로세서부터 디스크리트 그래픽 카드, 그리고 우리의 AI 미래를 powering하는 초대규모 설치에 이르기까지, GPU가 있는 모든 것에 대해 Jeff가 다루고 있습니다.
📄 원문 (English)
Going deep on local AI performance benchmarking with Apple’s Mac Studio with M5 Ultra taking on Nvidia DGX Spark — inference engine recipes mandatory for bigger models as MLX stack matures Is a Mac Studio a better investment than a DGX Spark? Apple’s updated Mac Studio with the M5 Ultra SoC has already proven itself as one of the most powerful systems around, thanks to its 36-core CPU and 80-core GPU with Neural Accelerators for the matrix math operations that drive AI compute. Beyond that raw power, options for up to 512GB of unified memory have many local AI enthusiasts lining up for the 13 to 15 weeks it’ll take for Apple to ship one right now. But is our tested Mac Studio config worth a whopping $12,300 or more for those folks? We already tested the maxed-out M5 Ultra chip with the popular Qwen 3.8 27B in our initial review, but that compact dense model doesn’t come anywhere close to exercising 256GB of memory. We wanted to fill that pool to the brim with cutting-edge large models like DeepSeek V4.1 Flash 1017 and GLM 5.3 Flash. We also have some new benchmarks at our disposal to see how the Mac Studio stacks up in agentic tasks on the GPU side in the wake of our review of the Microsoft Surface Laptop Ultra with Nvidia’s RTX Spark chip. So there's much to dig into. Agentic AI performance and power efficiency We started our more detailed local AI testing with Artificial Analysis' AgentPerf-Local benchmark. This test plays back recorded inference traces with certain models across a range of agentic AI workloads to gauge performance. Artificial Analysis provides a full breakdown of this workload, but the bulk of its work takes place in prompt processing rather than token generation. As a result, it should favor systems with lots of raw compute, which both GB10 and the M5 Ultra have at their disposal. The M5 Ultra's 80-core GPU dwarfs GB10's 48 Blackwell SMs at a high level. Even without detailed info on clocks, it would be extremely difficult for GB10 to outgun the M5 Ultra in this test. And the Mac's 1.2 TB/s of memory bandwidth gives it just over four times as much decode bandwidth as GB10's 273 GB/s. But as our past tests have shown, raw specs aren't as important as delivered performance with AI. Delivered performance can vary greatly from paper specs. We continued to use the dense Qwen 3.8 27B for this test. We used llama.cpp as our inference backend on both the Mac Studio and a single Dell Pro Precision GB10 box, which is nearly identical to the DGX Spark. We further enabled Qwen 3.8 27B’s native multi-token prediction (MTP) support for a decode speed boost on both platforms. Versus a single DGX Spark-like system, the M5 Ultra Mac Studio finishes this agentic test in just under half the time, an extremely impressive result. One might think this is a silly comparison given the imbalance in compute resources and memory bandwidth between these two systems, but the cost of a single 4TB Dell Pro Precision GB10, like the one we tested, is now a whopping $10K, so comparing it to the $12K Mac Studio head-to-head isn’t actually that far-fetched. Because AgentPerf-Local performs a fixed amount of work on every system, we can also directly compare power efficiency between platforms by recording the wall power consumed by a single Spark and the Mac Studio and converting it to task energy in kilojoules. At least with llama.cpp, the Mac Studio not only finishes the AgentPerf-Local test much faster than the DGX Spark, but it also consumes less task energy overall — about 16% less. A different inference engine might produce a more favorable result for the Spark-like system, but apples-to-apples, this test looks fantastic for the Mac Studio. We can multiply both task time and energy consumed (in kilojoules) together to arrive at the energy-delay product (EDP) for each system. A lower EDP wraps up a fast time to completion and a low task energy into a single comparable figure for efficiency. The Mac Studio’s EDP is under half that of the DGX Spark in this test, once again indicating its impressive efficiency and performance with this dense model and workload. Going big with DeepSeek V4.1 Flash 1017 and GLM 5.3 Flash Of course, Qwen 3.8 27B doesn’t need 256GB (or even 128GB) of RAM to do its thing. To really stretch the legs of the Mac Studio, we chose two larger open models that are near the top of capability benchmarks right now: GLM-5.3 Flash and DeepSeek V4.1 Flash 1017. The M5 Ultra Mac Studio can natively fit quantized versions of these models (a four-bit quantization in the case of GLM 5.3 and a two-bit quantization courtesy of Unsloth for DeepSeek V4.1 Flash) in its 256GB of RAM, but there’s no way even those quantizations will fit on a single 128GB DGX Spark. That’s where the clustering capability of Nvidia’s platform comes in. We’ve already seen how pairing up Sparks can scale up one’s local inference capacity, and that capability is critical when evaluating them against a Mac Studio like this. But the rapidly rising prices of GB10 systems have frustrated our value analysis during the course of this testing. For just one example, Lenovo set all of its ThinkStation PGX systems to a “coming soon” status during our tests. And as we’ve already mentioned, the Dell Pro Precision GB10s we’re clustering here are an eye-popping $10K each. We have no reason to believe the rest of the GB10 systems on the market will be that much cheaper once this current volatility shakes out. No matter how you slice it, getting even a pair of DGX Sparks with 4TB SSDs is going to end up costing quite a bit more than this single Mac Studio, even if $20K for a dual-Dell cluster is at the top end of the market. $15K or more is a relatively more reasonable benchmark, but even then, that’s 25% more money than a single M5 Ultra Studio. We don't yet have end-to-end agentic tests for these larger models, but directionally, we can still consider prompt processing and decode performance to see which of these systems would deliver faster agentic turnaround. Because of the limited choice of compatible inference engines for Apple Silicon, we have to use llama.cpp for DeepSeek V4.1 Flash 1017. Worse, the Mac Studio can't hold both the DeepSeek V4.1 Flash 1017 model weights and the DSpark speculative decoding model required to boost token output even with a two-bit quantization, so we’re forced to leave performance on the table. In contrast, the DeepSeek V4.1 Flash serving recipe for our Spark cluster can take advantage of DSpark speculative decoding and the TensorFold inference engine, which can deliver higher performance than llama.cpp. View Original View Original View Original View Original Even with MLX support, llama.cpp performance with DeepSeek V4.1 Flash on the Mac Studio is pokey next to the DGX Spark cluster. Between its slower prompt processing speed and unaugmented decoding, it would end up at a disadvantage in agentic work with this model. The community two-Spark serving recipe from Mia’s AI Lab with TensorFold is a major asset for owners of those systems, even accounting for the bit of extra work involved in setting up and managing a Spark cluster. Where the Mac running llama.cpp needs anywhere from 10 to 25 minutes to digest the longest context lengths we tested for DeepSeek V4.1 Flash, the Spark cluster needs under five minutes at most to do the same jobs with this recipe — and the TensorFold inference engine is much faster on the decode side, too. If you want to run this model locally, a pair of Sparks is the clear winner right now. With DeepSeek out of the way, let’s consider GLM 5.3 Flash, another leading open model for local intelligence. Because MTP with GLM 5.3 Flash doesn't require a separate drafting model, we can give it a decode boost on the Mac Studio without the memory headroom issues we saw with DeepSeek V4.1 Flash. For our Spark cluster, we chose to run GLM 5.3 Flash using a recipe cooked up by Mia's AI Lab. View Original View Original View Original View Original GLM 5.3 Flash runs much better on llama.cpp than DeepSeek V4.1 Flash does, but even so, the DGX Spark cluster delivers much faster prompt processing times across the board. The M5 Ultra's memory bandwidth advantage means the Mac is delivering higher tokens per second on the decode side, but it’s likely that any agentic turn would still finish faster on the Spark cluster. Because a TensorFold serving recipe is available for GLM 5.3 Flash on Apple Silicon, however, we can see just how much extra performance is available from an MLX-specific four-bit model quantization and a theoretically higher-performance inference engine. This serving recipe turbocharges the Mac Studio’s performance compared to llama.cpp. Prompt processing times with TensorFold get much closer to those of the Spark cluster, and decode throughput is a startling three times faster, on average. We expect (and can only hope) that improved inference engine support and serving recipes for DeepSeek V4.1 Flash 1017 on the M5 Ultra will arrive in time as community members unleash their coding agents on this hardware, because the performance potential is clearly there for Apple Silicon. Bottom line A single M5 Ultra Mac Studio can deliver incredible local AI performance and power efficiency versus a single DGX Spark when all the puzzle pieces fall into place. And that's not as absurd a comparison as it might seem. Prices for unified memory systems are ballooning to the point that a single Dell Pro Precision GB10 system with a 4TB SSD is now over $10K, closing in on the $12K-ish price of the Mac Studio configuration that we tested. We expect those trends will only continue as the RAM and NAND supply crunch becomes more acute. But our broader experience shows that the M5 Ultra's impressive performance isn't assured from every model and inference engine, especially from the bigger and highly intelligent models you'll want to put in 256GB of RAM. This Mac's prompt processing speeds can really rip with llama.cpp and smaller models like Qwen 3.8 27B, but you really want to ensure that you have a higher-performance serving recipe at your disposal for bigger models like GLM 5.3 Flash and DeepSeek V4.1 Flash 1017. The TensorFold engine runs GLM 5.3 Flash incredibly well, but it doesn’t support DeepSeek at all yet. As we emphasized in our review of the M4 Max Mac Studio, memory bandwidth is just one factor in AI inference performance. You need to take the entire hardware-software stack into account in order to wholly judge the performance and model compatibility available from these extremely pricey unified memory setups. Even as Apple closes the performance shortfalls of its hardware for AI inference, development and support around the MLX stack has a ways to go before it catches up with the maturity and performance, as well as the model and inference engine options, available on Nvidia hardware. The enduring value of the DGX Spark platform beyond its raw performance and scalability is that the breadth and velocity of community software development and support around the platform has gotten to the point that you're virtually assured of a way to run a hot new model soon after its weights hit Hugging Face (at least assuming you have enough Sparks to cluster to provide the memory capacity necessary). That assurance of community software support and ongoing development, along with the DRAM and NAND supply crunches, means high demand and ever higher prices for 128GB GB10 boxes. Two such Sparks with 4TB drives will run you an eye-watering $15K to $20K+, depending on the partner system and storage configuration you choose. And those prices are likely to continue rising, making a single Mac Studio a potentially appealing option as long as Apple doesn’t jack up its prices for these systems in turn. If strong local AI performance is just one thing you need from a personal workstation, and you also want one of the world's fastest CPUs and a powerful GPU for general-purpose work in one well-rounded, efficient, and quiet compact chassis, the Mac Studio is a remarkable system. If you can wait for software to catch up to this system’s incredible performance potential for local AI and don’t mind the possibility of narrower model and inference engine support compared to a DGX Spark setup, get in line, as lead times for these systems stretch into February 2027 as of this writing. But if you're thinking about dropping well over $10K specifically for the purpose of building a local AI inference setup right now, perhaps for yourself or a small office, clustering a pair of Sparks gets you both the memory capacity and compute horsepower you need with the robust software support and broad model compatibility you’d expect for that outlay to be worthwhile. Those assurances may be worth the lower raw performance potential of such a cluster compared to the Mac Studio. As the Senior Analyst, Graphics at Tom's Hardware, Jeff Kampman covers everything that has to do with graphics cards, gaming performance, and more. From integrated graphics processors to discrete graphics cards to the hyperscale installations powering our AI future, if it's got a GPU in it, Jeff is on it.
▶ 칩 라이브 24 홈으로 — chiplive24.com

다른 반도체 뉴스

3 AI Chip Stocks Retail Investors Are Watching After The Nvidia Selloff · Yahoo FinanceSK hynix Sinks 21% in a Week With Micron and Sandisk. Its U.S. Premium Is an “Extra Special Case” · Yahoo FinanceThis week on Tom's Hardware Premium: 21 November 2026 — AMD, Nvidia and more show off the future of high-performance computing at SC26 · Tom's HardwareThis week on Tom's Hardware Premium: 21 November 2026 — AMD, Nvidia and more show off the future of high-performance computing at SC26 · Tom's HardwareAfter Plummeting 62% This Year, Could Buying Intel Stock Today Set You Up for Life? · Yahoo FinancePrediction: Nvidia Stock Will Be Worth This Much in 1 Year · Yahoo FinanceApplied Materials vs. Nvidia: Which Tech Stock Is a Better Buy for 2027? · Yahoo FinanceTrump Calls Huang’s Exit “Such a Tragedy” as His Filing Shows Up to $380,000 of Nvidia Buys · Yahoo Finance