MS 서피스 랩탑 울트라에서 엔비디아 RTX 스파크 슈퍼칩 테스트: 로컬 AI는 돋보이나 게이밍은 약점
🇰🇷 한글 번역
우리는 마이크로소프트의 Surface Laptop Ultra에서 RTX Spark 슈퍼칩을 테스트했다. 로컬 AI 분야에서 윈도우 온 암(Windows on Arm) 플랫폼이 인상적인 성과를 보였지만, 게임 성능은 그다지 강점이 아니다.
에이전트 AI 시대의 PC 재탄생을 위한 기반 마련
엔비디아의 제슨 황(Jensen Huang) 최고경영자(CEO)는 컴퓨텍스 2026에서 “PC를 재발명한다”는 포부 아래 RTX Spark 플랫폼을 발표했다. GB10 슈퍼칩을 로컬 AI 에이전트의 보안되고 격리된 실행을 위해 특별히 설계된 윈도우 온 암 버전과 결합함으로써, 엔비디아는 마이크로소프트, 델, HP, MSI, 레노버, 어수스 등 파트너 기업들과 함께 PC가 업무와 창작을 위한 능동적이고 자율적인 동반자가 되는 미래로 나아가는 길을 열기를 기대하고 있다.
이러한 미래 비전을 위한 하드웨어 기반이 이제 갖춰졌다. 지난주 우리는 RTX Spark 플랫폼의 모든 세부 사항을 파악하기 위해 샌프란시스코로 출장갔고, 그 모든 것을 테스트하기 위해 최고 사양의 마이크로소프트 Surface Laptop Ultra를 들고 귀국했다.
이 시스템은 20개의 CPU 코어와 6144개의 CUDA 코어, 그리고 128GB의 LPDDR5X-9400 RAM을 탑재한 완전한 RTX Spark 슈퍼칩을 갖추고 있으며, 지난 일주일 동안 이 시스템이 실제로 어떤 일을 할 수 있는지 확인하기 위해 치열한 테스트를 진행해 왔다.
RTX Spark 출시 관련 보도자제 기간은 다소 특이하다. 오늘 우리는 Spark 플랫폼에 대한 광범위한 경험과 경쟁사 대비 성능 평가를 공유하겠지만, 배터리 수명, 제작 품질, 디스플레이 품질 등 시스템 특화된 결과나 기타 세부 사항에 대해서는 다루지 않을 것이다. 토머스 하드의 연구실에는 다른 RTX Spark 노트북들이 있으며, 해당 시스템에 대한 상세한 리뷰는 곧 공개될 예정이다.
물론 모바일 플랫폼의 경험은 특정 칩이 특정 노트북 디자인에 어떻게 구현되느냐에 밀접하고 불가분하게 연결되어 있기 때문에, 이러한 접근 방식은 그리 합리적이지 않아 보인다. 또한 우리는 배터리 수명이 이 플랫폼에 관심 있는 많은 사람들에게 가장 우선적인 고려사항임을 잘 알고 있다. 하지만 다시 말하지만, 모든 관련 정보는 곧 제공될 것이다.
이번 첫 번째 테스트 라운드에서 우리는 RTX Spark를 탑재한 마이크로소프트 Surface Laptop Ultra를 두 가지 시스템과 비교했다. 첫 번째는 애플의 최고 사양 M5 Max SoC를 탑재한 14인치 맥북 프로다. 이 맥은 40코어 GPU와 18코어 CPU, 그리고 128GB의 LPDDR5X RAM을 갖추고 있다. 현재 연구실에는 모바일 라이젠 AI 맥스+(Ryzen AI Max+) 395 시스템이 없지만, 최신 ROCm 스택과 llama.cpp 빌드를 갖춘 AMD의 컴팩트 라이젠 AI 할로(Ryzen AI Halo)를 통해 신선한 데이터를 확보하고 있다.
Spark의 미디어텍 Arm CPU 컴플렉스는 성능 측면에서 가장 약한 부분일 수 있다. 이 플랫폼은 일반적인 사용에서는 전혀 느리지 않게 느껴지지만, 기크벤치(Geekbench) 테스트에서 단일 코어 및 멀티 코어 CPU 성능은 애플의 M5 Max에 크게 뒤처진다.
토머스 하드의 최고의 뉴스와 심층 리뷰를 이메일로 바로 받아보세요.
로컬 AI 성능
로컬 AI 성능을 평가하는 것은 끊임없이 변화하는 목표이며, 이번 리뷰도 예외는 아니다. 우리의 과거 테스트에서는 AI 추론의 프롬프트 처리 단계와 토큰 생성 단계를 별도로 검증했으며, 두 단계 모두에서 빠른 시스템이 가장 우수한 경험을 제공한다는 점을 이해하고 있다.
하지만 에이전트 워크플로우에서는 이러한 벤치마킹 기법이 특정 목표에 도달하는 데 필요한 모든 추론 턴에 걸쳐 작업을 완료하는 데 걸리는 총 시간을 포착하지 못합니다. 이러한 전체 종단 간 시간을 포착하기 위해 Artificial Analysis의 연구진은 여러 에이전트 AI 작업에 걸쳐 추론 트레이스를 정확하게 재연하는 새로운 벤치마크인 AgentPerf-local을 개발했습니다. 이 접근법의 가치는 즉시 이해할 수 있습니다. AI 에이전트가 작업을 더 빠르게 완료할수록 시스템의 생산성은 더 높아집니다.
따라서 우리는 과거에 제시했던 첫 번째 토큰까지의 시간(time-to-first-token) 및 초당 토큰 수(tokens-per-second)와 같은 원시 수치를 제시하는 대신, 전통적인 CPU 및 콘텐츠 생성 벤치마크에서와 마찬가지로 작업 완료 시간(time-to-completion) 수치를 공유합니다.
다시 말하지만, 로컬 AI 벤치마킹은 계속 진행 중인 작업이므로 이 접근법에 대한 의견을 알려주시면, 우리가 방법을 계속 발전시켜 나가는 과정에서 해당 피드백을 반영하겠습니다.
우리는 호환되는 두 가지 모델로 AgentPerf-local을 실행했습니다. 하나는 크기에 비해 가장 지능적인 로컬 모델 중 하나로 인기 있는 밀집형(dense) 3.8-27B이고, 다른 하나는 시스템이 더 빠르게 실행하기 쉬운 3.6 35B A3B 혼합 전문가(mixture-of-experts) 모델입니다. 우리는 추론 백엔드로 최신 버전의 llama.cpp를 사용했으며, 각 테스트 시스템에서 CUDA, Metal 또는 ROCm 가속을 활용하기 위해 소스에서 빌드했습니다.
먼저 3.8 27B의 동작을 살펴보겠습니다. 우리는 모델의 Unsloth Q4_K_M 양자화를 사용했습니다. RTX Spark와 MacBook Pro에서는 DFlash2 추론적 디코딩(speculative decoding)으로 실행했고, Ryzen AI Halo에서는 최상의 성능을 위해 3.8 27B의 내장 MTP(Multi-Token Prediction)를 사용했습니다.
우리가 M4 Max SoC를 탑재한 Apple Mac Studio를 벤치마킹했을 때 발견했듯이, 메모리 대역폭은 로컬 AI 성능에 대한 유일한 제약 조건이 아닙니다. 이론상 메모리 대역폭에서 우위를 점함에도 불구하고, M5 Max MacBook Pro는 3.8 27B를 사용하여 AgentPerf 벤치마크를 완료하는 데 RTX Spark를 탑재한 Surface Laptop Ultra보다 약 25% 더 오래 걸립니다.
이 중 일부는 소프트웨어의 성숙도 차이 때문일 수 있지만, 14인치 MacBook Pro의 96W 충전기에 비해 훨씬 큰 140W 전원 어댑터를 갖춘 15인치 시스템인 Surface Laptop Ultra라는 점도 기억할 가치가 있습니다.
16인치 M5 Max MacBook Pro 역시 140W 어댑터를 탑재하고 있으며, 이 시스템의 더 큰 섀시가 제공하는 추가 전력 및 더 높은 열 여유가 여기서 격차를 줄이는 데 도움이 될지 궁금합니다. 어쨌든 RTX Spark 플랫폼은 현재 이 작업에서 전체적으로 가장 빠른 플랫폼입니다.
한편, AMD의 거의 2년 된 Ryzen AI Max+ 395는 이 치열한 테스트에서 이 두 최신 시스템과 경쟁하지 못합니다. 3.8 27B를 사용한 에이전트 테스트를 완료하는 데 RTX Spark나 MacBook Pro보다 약 두 배인 무려 40분이 필요합니다.
Ryzen AI Halo가 노트북이 아닌 미니 데스크톱 폼 팩터라는 사실은 이러한 결과에 큰 영향을 미치지 않습니다. 이러한 설계가 제공할 수 있는 모든 전력 및 열 여유가 여기에서의 성능 격차를 극복할 수 있을 리 없기 때문입니다.
다음으로, 경량화된 3.6 35B A3B 모델을 살펴보겠습니다. 우리는 이 모델의 Unsloth Q4_K_M 양자화를 MTP를 활성화한 상태로 실행했습니다.
Surface Laptop Ultra는 이 테스트를 단 8분에 완료하며, 이는 14인치 MacBook Pro의 10분보다 약 25% 빠른 속도입니다. 이 테스트는 Ryzen AI Halo에게도 훨씬 더 친화적이며, 이 시스템은 더 합리적인 13분에 벤치마크를 완료했습니다. 하지만 이는 Strix Halo에서 합리적인 수준의 성능을 얻으려면 모델의 지능을 희생해야 한다는 점을 강조합니다.
AMD는 최근 스트릭스 할로(Strix Halo) 시스템의 진입 장벽이 DGX 스파크 데스크톱 및 RTX 스파크 노트북에 비해 상대적으로 낮다는 점을 부각시키기 위한 홍보 공세를 펼쳤다. 하지만 시간이 곧 돈이며, 로컬 AI 시스템에서 더 많은 지능형 토큰을 더 빠르게 생성하는 것이 더 많은 잠재적으로 수익성 있는 에이전트 작업을 수행한다는 것을 의미한다면, 초기 비용이 더 비싼 시스템이 그러한 작업을 더 많이 수행할 수 있으며 시간이 지남에 따라 더 많은 가치를 창출할 가능성이 있다.
게임 성능: 첫인상
RTX 브랜드를 달고 있고 6144개의 CUDA 코어(또는 48개의 SM)를 갖춘 GPU를 강조하는 엔비디아의 노력에도 불구하고, RTX 스파크 플랫폼은 게임 분야에서 몇 가지 심각한 도전에 직면해 있다. 현재 출시된 대부분의 게임은 그 Grace CPU 아키텍처를 위해 네이티브로 컴파일되지 않으며, 설령 네이티브 컴파일이 가능한 게임이 있더라도 플랫폼이 제공하는 최대 300GB/s의 공유 메모리 대역폭은 26개의 SM에 384GB/s의 전용 대역폭을 공급하는 RTX 5060 모바일보다도 현저히 낮다.
전체 GB10 SoC는 비교적 적은 양의 메모리 대역폭을 공유하고 있으며, 그래픽은 일반적으로 메모리 대역폭에 의해 병목 현상이 발생하는 워크로드이므로 이는 모든 SM에 데이터를 공급하는 게임에서 좋은 시작점이 아니다.
나는 ‘기어스 오브 워: E-Day’로 게임 탐색을 시작했다. 이 exceptionally CPU 집약적인 게임에서는 Grace CPU 코어의 기본 성능과 Prism x86 에뮬레이터의 추가 오버헤드가 이 타이틀에 전혀 도움이 되지 않는다는 것이 명확하다.
GPU 사용률은 하이 설정과 2배 프레임 생성을 적용한 근접 1080p(1908x1272) 렌더 해상도에서 평균 85%에 불과했으며, 게임 진행 중 몰입감을 해칠 수 있는 맵 전환 중 최소 한 번의 심각한 멈춤 현상을 목격했다.
CPU 의존도가 높기 때문에 ‘기어스’는 이 플랫폼에 있어 최악의 시나리오일 가능성이 높지만, 사실 중요한 것은 이것이 좋은 경험이 아니라는 점이며, 설정을 낮추거나 업스케일링 입력 해상도를 낮추는 것은 이 타이틀의 CPU 병목 현상을 더욱 악화시킬 뿐이다. 만약 네이티브 Arm 빌드를 활용할 수 있는 게임이 있다면 바로 이 게임이어야 한다.
‘컨트롤: 레조넌트’는 CPU 의존도가 훨씬 낮지만, 이는 RTX 스파크 슈퍼칩의 다른 잠재적인 게임 단점들이 두드러지게 나타남을 의미한다.
DLSS 업스케일링을 적용했음에도 불구하고 서피스 랩톱 울트라(Surface Laptop Ultra)의 네이티브 3270x2180 출력 해상도에서 안정적인 프레임률과 입력 지연 시간을 확보하는 데 어려움을 겪은 후, 2560x1440 해상도에서 창 모드, DLSS 성능 모드, 하이 설정, 그리고 서피스 랩톱 울트라의 120Hz 주사율에 근접한 프레임률을 유지하기 위한 3배 프레임 생성(MFG 3X)을 적용하면 더 나은 결과를 얻을 수 있음을 발견했다. (이 시스템의 세로형 3:2 화면 비율은 16:9 풀스크린 게임을 깔끔하게 스케일링하지 못한다.)
하지만 그럼에도 불구하고 입력 지연 시간은 표준 GPU 테스트 랙에서 허용 가능한 수준보다 높았으며, 레이 트레이싱을 활성화하면 프레임률이 떨어지고 입력 지연 시간이 더욱 급증했기 때문에 최상의 결과를 얻기 위해 래스터링 전용 렌더링에 의존해야 했다.
전반적으로 RTX 스파크의 게임 성능에 대한 나의 초기 결론은 플레이할 수 있으며 나쁘지 않은 경험을 제공할 수 있지만, 이것이 이 플랫폼의 주요 초점은 아니라는 점이다. RTX 스파크 슈퍼칩의 비교적 제한된 메모리 대역폭, 시스템의 CPU 성능, 그리고 Prism 에뮬레이션의 오버헤드가 결합되어 기본 프레임률, 업스케일링, 화질, 그리고 프레임 생성의 부드러움 향상 효과가 여전히 허용 가능한 입력 지연 시간을 제공한다는 좁은 설정 범위만을 찾아야 한다는 것을 의미한다.
이 플랫폼에서 게임을 처음 접했을 때, DLSS 업스케일링이 경험의 필수 요소가 될 것이라고 예상했지만, 실제로는 DLSS 프레임 생성도 반드시 활용해야 한다. 이는 《기어스 오브 워》에서의 추가적인 부드러움을 위해서이거나, 《컨트롤 레조넌트》에서 개발자의 배경 선택으로 인해 부드러움과 함께 Nvidia Reflex의 이점을 모두 얻기 위한 것일 수 있다.
비록 Reflex를 사용하더라도, Grace CPU는 일반적으로 당사의 Ryzen 7 9800X3D 테스트 시스템에서 익숙했던 것보다 훨씬 높은 입력 지연 시간을 제공하는 것으로 보이며, 이러한 AAA 타이틀에서 설정을 조정하여 지연 시간을 크게 낮추기는 어렵다.
최저의 입력 지연 시간과 최첨단 게임에서의 최고 성능을 요구한다면, 특히 레이 트레이싱(RT)을 활성화할 계획이라면 전용 RTX 50시리즈 GPU를 탑재한 별도의 게이밍 노트북이 여전히 더 우수한 경험을 제공한다. 그리고 로컬 AI에 전혀 관심이 없다면, 그 조언은 더욱 강력하게 적용된다.
결론
Nvidia의 RTX Spark는 오늘날의 전통적인 워크로드와 내일의 잠재적 에이전트 AI 작업을 위한 야심 차고 새로운 PC 플랫폼이다. 특히 향후 몇 년 동안 PC가 어떻게 사용될지에 대한 광범위한 비전을 가진 새로운 플레이어가 혼잡하고 경쟁적인 PC 시장에 진입하려는 시도는 얼마나 자주 목격하는가? 이는 점진적인 변화가 아니다.
우리의 일반 성능 테스트와 새로운 에이전트 AI 테스트는, 논리적으로는 통합 메모리 아키텍처에 대해 단단한 CPU 성능과 상대적으로 낮은 대역폭을 제공함에도 불구하고, GB10에 탑재된 Blackwell GPU가 실제 충분한 AI 연산 능력을 갖추고 있어 RTX Spark 플랫폼이 Apple의 최신 최상위 M5 Max와 AMD의 Ryzen AI Max+ 395(일명 Strix Halo) SoC를 앞설 수 있음을 보여준다.
사용자가 높은 지능의 밀집된 3.8 27B 모델을 선택하여 순수 속도를 지능과 교환하든, 더 가볍고 빠른 3.6 35B A3B와 함께 그 반대 선택을 하든, RTX Spark가 최우위를 점한다. 이는 이 플랫폼에서 Hermes와 같은 인기 에이전트를 지능형 로컬 모델과 페어링하는 데 긍정적인 신호다.
그러나 Nvidia의 PC 재창조 미션은 이번 첫 번째 버전에서는 완전한 홈런이 아니다.
첫째, 이 플랫폼은 전용 게이밍 노트북을 대체하지 못한다. 비록 부수적으로만 게임을 하고 프레임률과 입력 지연 시간에 대해 관대한 기준을 가진 사용자라도, RTX Spark의 게이밍 성능은 기대에 미치지 못할 수 있다.
Prism x86 에뮬레이션의 오버헤드를 단지 적절한 수준의 Grace CPU 성능 위에 추가하면, Arm 포팅이 없는 방대한 범위의 게임들에서 Spark 플랫폼이 뒤처지지 않기 위해 얼마나 많은 노력을 기울여야 하는지 명확해진다.
CPU 집약적인 《기어스 오브 워: E-Day》는 Prism-on-Grace 스택에 특히 가혹하지만, 《컨트롤 레조넌트》와 같은 타이틀이 CPU에 그렇게 많이 의존하지 않더라도, GB10 SoC의 제한적이고 공유된 메모리 대역폭은 막대한 이론적 연산 능력을 활용할 수 있음에도 불구하고 설정을 최대로 높이는 데 장애물이 된다.
또한 우리는 Nvidia가 보안 가능하고 관리 가능한 로컬 에이전트에 대해 가진 야망에 맞춰 Windows가 완전히 따라잡기를 기다리고 있다. 노트북 전문가인 앤드류 프리드먼과 나는 Windows 11 내에서 Microsoft의 보안 에이전트 AI 약속을 테스트할 수 없었는데, Microsoft와 Nvidia가 그 목적을 위해 약속했던 지원 기능들이 아직 준비되지 않았기 때문이다.
그럼에도 불구하고, 여러 설계 팀의 복잡한 실리콘 IP를 하나의 칩에 통합하고, 고도로 통합된 노트북 폼 팩터에 이를 구현하기 위해 여러 OEM 파트너에 의존하는 첫 세대 모바일 플랫폼이라는 점을 고려할 때, RTX Spark 플랫폼의 성숙도는 인상적인 성과다. (안정적인 제품 출시를 내부에서 직접 경험해 본 사람의 말로서 말이다.)
지난 일주일 동안 저는 RTX Spark가 탑재된 Surface Laptop Ultra를 다른 어떤 Windows 노트북과 마찬가지로 사용해 왔으며, 몇 가지 작은 결함을 제외하고는 다른 컴퓨터로 작업을 하듯 주로 업무를 처리할 수 있었다. 그리고 로컬 에이전트 AI의 미래가 구체화되는 가운데, 이는 매우 비싸기는 하지만 훌륭한 위치라고 할 수 있다.
아마도 RTX Spark 플랫폼이 직면한 가장 큰 과제는 출시 시점에서 이용 가능한 다양한 시스템의 눈이 휘둥그레질 만한 높은 가격대가 오픈AI와 앤트로픽의 클라우드 토큰을 상당히 많이 구매할 수 있다는 점이다. ‘상당히’라는 점을 강조한다. 우리가 테스트한 Surface Laptop Ultra는 저장공간이 1TB에 불과함에도 불구하고 정가가 5,899달러이며, 해당 시스템의 납기일은 이미 12월 말까지 밀려 있는 상태다.
민감한 데이터를 해당 연구소들의 클라우드에 보관하는 것에 대해 크게 우려하지 않거나, 허용된 사용 정책을 위반할 가능성이 없다고 생각한다면, RTX Spark 같은 로컬 토큰 공장에서 얻는 것보다 훨씬 더 똑똑하고 빠른 토큰을 얻을 수 있으며, 현재 보유한 대부분의 합리적인 성능을 갖춘 전통적인 PC에서도 이를 얻을 수 있다.
하지만 프라이버시, 오프라인 모델 가용성, 자유로운 수정 가능성, 혹은 단순히 멋있다고 생각해서 로컬 하드웨어로 AI 물결을 타고 있다면, RTX Spark 플랫폼은 필요한 메모리 용량, 컴퓨팅 성능, 소프트웨어 리소스를 Windows의 친숙함과 광범위한 호환성 위에 결합하여 이를 가능하게 한다. Nvidia, Microsoft 및 그들의 파트너들이 첫 시도임에도 불구하고 이렇게 강력하고 호환성이 뛰어나며 다듬어진 플랫폼을 제공했다는 사실은 PC 산업의 나머지 부분에 경고를 보내는 것이어야 한다.
Nvidia의 개인용 컴퓨팅 재편 노력은 회사가 자체적으로 Vera Rubin 출시의 일부 책임이 있는 DRAM 및 NAND 가격의 급등으로 인해 당분간 강한 역풍에 직면하게 될 것이다. 아마도 2~3년 후 진흙탕이 가라앉고 차세대 RTX Spark 슈퍼칩을 기반으로 한 제품이 등장하면, 회사가 자신의 목표를 달성했는지 여부를 더 자신 있게 평가할 수 있을 것이다.
지금은 RTX Spark가 개방형 AI 모델이 비교적 작은 메모리 사용량 내에서 지속적으로 더 지능적이 될 것이라고 열렬히 믿는 사람들과, 그러한 잠재적인 미래 개선 사항을 위해 오늘을 위해 준비하는 것이 상당한 비용을 지불할 가치가 있다고 믿는 사람들을 위한 플랫폼처럼 느껴진다. 컴퓨팅이 점점 더 귀중한 자원이 되는 세상에서는这可能 현명한 베팅일 수 있다. 하지만 현금을 마음껏 쓸 수 있는 진정한 신봉자가 아니라면, 우리의 첫인상은 Microsoft와 Nvidia가 이 플랫폼이 약속을 이행할 수 있도록 필요한 소프트웨어 기반을 완전히 구축할 때까지 기다려야 한다는 것을 시사한다.
Tom's Hardware의 수석 애널리스트, 그래픽 부문 책임자 Jeff Kampman은 그래픽 카드, 게임 성능 등 그래픽 관련 모든 것을 다루고 있다. 내장 그래픽 프로세서부터 디스크리트 그래픽 카드, 그리고 우리의 AI 미래를 powering하는 초대규모 설치에 이르기까지, GPU가 탑재된 것이라면 Jeff는 모두 다룬다.
📄 원문 (English)
We test the RTX Spark Superchip in Microsoft's Surface Laptop Ultra — Nvidia's Windows on Arm platform impresses in local AI, but gaming isn't its strong suit
Laying the foundation for the reinvention of the PC in the agentic AI era
Nvidia CEO Jensen Huang announced the RTX Spark platform with the grand ambition to “reinvent the PC” back at Computex 2026. By pairing the GB10 Superchip with a version of Windows on Arm tailored for the secure and contained execution of local AI agents, Nvidia and its partners at Microsoft, Dell, HP, MSI, Lenovo, and Asus are all hoping to pave the way to a future where the PC is an active, autonomous companion for work and creation.
The hardware foundation for that vision of the future is now in place. Last week, we flew out to San Francisco to get all the details on the RTX Spark platform, and we returned home with Microsoft’s Surface Laptop Ultra in top-end trim to put it all to the test.
This system has the full RTX Spark Superchip with 20 CPU cores and 6144 CUDA cores alongside 128GB of LPDDR5X-9400 RAM, and I’ve been putting it through its paces over the past week to see just what it can do.
The embargoes for the RTX Spark launch are a bit peculiar. Today, we’ll be sharing our broad experience with the Spark platform, as well as competitive performance evaluations, but not any system-specific results such as battery life, build or display quality, or other details of that nature. We have other RTX Spark laptops in the Tom’s Hardware labs, and detailed reviews of those systems will be coming soon.
No, this approach doesn’t make a lot of sense when the experience of a mobile platform is intimately and inextricably tied to the specific implementation of that chip in a particular laptop design. And we know that battery life is the first and foremost concern of many interested in this platform. But again, all that information is coming soon.
For this first round of testing, we compared the Microsoft Surface Laptop Ultra with RTX Spark against two systems. The first is a 14" MacBook Pro with Apple's highest-end M5 Max SoC inside. That Mac has a 40-core GPU and an 18-core CPU, as well as 128 GB of LPDDR5X RAM. We don't have a mobile Ryzen AI Max+ 395 system in the labs right now, but we do have AMD's compact Ryzen AI Halo as a source of fresh data with the latest ROCm stack and llama.cpp builds.
The MediaTek Arm CPU complex on the Spark may be its weakest performance point. This platform certainly doesn't feel pokey in regular use, but in Geekbench, both its single-core and multi-core CPU performance greatly trail Apple's M5 Max.
Get Tom's Hardware's best news and in-depth reviews, straight to your inbox.
Local AI performance
Judging local AI performance is a constantly moving target, and this review is no different. Our past testing has exercised the prompt processing and token generation phases of AI inference separately, with the understanding that a system that's fast at both those phases provides the best experience.
But in an agentic workflow, that benchmarking technique doesn't capture the total time required to complete a task across all the inference turns needed to reach a particular goal. To capture that entire end-to-end time, the folks at Artificial Analysis have developed a new benchmark, AgentPerf-local, that precisely replays inference traces across several agentic AI tasks. The value of this approach should make immediate sense: the faster an AI agent finishes a job, the more productive a system can be.
So instead of presenting raw time-to-first-token and tokens-per-second figures, as we have in the past, we’re sharing time-to-completion values as we would for more traditional CPU and content creation benchmarks.
Again, local AI benchmarking is a continuous work in progress, so let us know what you think of this approach, and we’ll take that feedback into account as we continue to develop our methods.
We ran AgentPerf-local with two compatible models: the dense Qwen 3.8-27B, which is popular as one of the most intelligent local models available for its size, and the Qwen 3.6 35B A3B mixture-of-experts model, which is easier for systems to run quickly. We used the latest build of llama.cpp as our inference backend and built it from source on each test system to take advantage of CUDA, Metal, or ROCm acceleration, as appropriate.
Let’s look at Qwen 3.8 27B’s behavior first. We used Unsloth’s Q4_K_M quantization of the model. We ran it with DFlash2 speculative decoding on the RTX Spark and MacBook Pro, and with Qwen 3.8 27B’s built-in MTP on the Ryzen AI Halo for the best performance.
As we found in our benchmarking of Apple's Mac Studio with the M4 Max SoC, memory bandwidth is only one constraint for local AI performance. Despite its memory bandwidth advantage on paper, the M5 Max MacBook Pro still ends up taking about 25% longer to finish the AgentPerf benchmark with Qwen 3.8 27B than the Surface Laptop Ultra with RTX Spark.
Part of that may be down to software maturity, but it's also worth remembering that our Surface Laptop Ultra is a 15" system with a much larger 140W power adapter versus the 14" MacBook Pro's 96W charger.
The 16" M5 Max MacBook Pro also comes with a 140W adapter, and we'd be curious to see whether the extra power and higher thermal headroom afforded by that system’s larger chassis help close the gap here. But in any event, the RTX Spark platform is the fastest overall at this task today.
Meanwhile, AMD's nearly two-year-old Ryzen AI Max+ 395 just can't keep up with either of these newer systems in this demanding test. It needs about twice as long to finish our agentic tests with Qwen 3.8 27B as either the RTX Spark or the MacBook Pro do, at a whopping 40 minutes.
The fact that the Ryzen AI Halo is a mini desktop form factor rather than a notebook doesn’t much matter to these results, as any power and thermal headroom that design might afford can’t possibly overcome the performance gap here.
Next up, we have the lighter-weight Qwen 3.6 35B A3B. We ran Unsloth’s Q4_K_M quantization of this model with MTP enabled.
The Surface Laptop Ultra ends up completing this test in just eight minutes, or about 25% faster than the 14” MacBook Pro’s 10 minutes. This test is also much friendlier to the Ryzen AI Halo, which finished the benchmark in a more reasonable 13 minutes. But that just emphasizes that you have to trade away model intelligence to get a reasonable level of performance out of Strix Halo.
AMD has recently gone on a publicity blitz to highlight the relatively low cost of entry for Strix Halo systems versus DGX Spark desktops and now RTX Spark laptops. But if time is money, and getting more intelligent tokens out of your local AI system faster means more potentially profitable agentic work gets done, then a more expensive system upfront will be able to do more of that work and potentially generate more value over time.
Gaming performance: first impressions
Despite its RTX branding and the emphasis Nvidia places on its 6144-CUDA-core GPU (or 48 SMs), the RTX Spark platform faces some tough challenges for gaming. Most games available today are not going to be natively compiled for its Arm CPU, and even for those that might be, the maximum 300 GB/s of shared memory bandwidth the platform offers is well below that of even the RTX 5060 Mobile's dedicated 384 GB/s feeding 26 SMs.
The entire GB10 SoC is competing for a relatively small amount of memory bandwidth, and because graphics is generally a memory-bandwidth-bound workload, that's not a great start for feeding all of those SMs in games.
I started my gaming explorations with Gears of War: E-Day. In this exceptionally CPU-heavy game, it's clear that the baseline performance of the Grace CPU cores and the added overhead of the Prism x86 emulator are doing this title no favors.
GPU utilization only reaches the 85% mark on average at a near-1080p (1908x1272) render resolution with the High preset and 2X framegen, and we saw at least one major hang during a map transition that was less than confidence-inspiring for an immersive experience as we progress further into the game.
Because of its CPU dependence, Gears is probably a worst-case scenario for this platform, but the fact remains that it's not a great experience, and turning down settings or lowering upscaling input resolutions just exacerbates the CPU-boundedness of this title. If any game could use a native Arm build, this is the one.
Control Resonant is significantly less dependent on the CPU, but that just means that the other potential gaming shortcomings of the RTX Spark Superchip seem to come into play.
After struggling a bit to achieve a solid frame rate and input latency at the Surface Laptop Ultra's native 3270x2180 output resolution even with DLSS upscaling, I found that running the game in windowed mode at 2560x1440 with DLSS Performance upscaling, the High preset, and MFG 3X to keep frame rates near the Surface Laptop Ultra's 120Hz refresh rate provided better results. (This system's tall 3:2 aspect ratio means that 16:9 fullscreen games don't cleanly scale up.)
But even then, input latency was above what I would consider acceptable on our standard GPU test rig, and enabling ray tracing at all dipped frame rates and spiked input latency even further, so I had to stick to raster-only rendering for the best results.
Overall, my early RTX Spark gaming verdict is that you can do it, and you can have a fine enough time, but it is not the primary focus of this platform. Gaming performance with the relatively limited memory bandwidth of the RTX Spark Superchip, combined with the system's CPU performance and the overhead of Prism emulation, mean that you'll be searching for a narrow range of settings where baseline frame rates, upscaling, image quality, and the smoothness boost of frame generation still yield acceptable input latency.
When I first approached gaming on this platform, I had expected that DLSS upscaling would be a required part of the experience, but in practice, you really need to lean on DLSS Frame Generation, as well, whether that's for added smoothness (as in Gears of War) or for both smoothness and the benefits of Nvidia Reflex due to developer choices behind the scenes (as in Control Resonant).
Even with Reflex, though, the Grace CPU generally seems to deliver input latencies significantly higher than I'm used to on our Ryzen 7 9800X3D test rig, and it's hard to get them much lower in these AAA titles by tweaking settings.
If you demand the lowest input latency and the highest performance with cutting-edge games, especially if you plan to enable RT, a separate gaming laptop with a dedicated RTX 50-series GPU will still provide a superior experience. And if you just don’t care about local AI at all, that advice applies even more strongly.
Bottom line
Nvidia's RTX Spark is an ambitious new PC platform for the traditional workloads of today and the potential agentic AI work of tomorrow. How often do we see an entirely new player try to elbow into the crowded and competitive PC space, especially one with a sweeping vision for how the PC will be used in the years to come? An incremental move this is not.
Our general performance tests and new agentic AI tests show that despite providing merely solid CPU performance and relatively low bandwidth for a unified memory architecture on paper, the Blackwell GPU on board GB10 has enough AI horsepower in practice to let the RTX Spark platform come out ahead of Apple's latest top-end M5 Max and AMD's Ryzen AI Max+ 395, aka Strix Halo, SoCs.
Whether you choose the highly intelligent dense Qwen 3.8 27B model and trade raw speed for intelligence, or make the opposite trade with the lighter and faster Qwen 3.6 35B A3B, the RTX Spark comes out on top. That bodes well for pairing popular agents like Hermes with intelligent local models on this platform.
But Nvidia's mission to reinvent the PC isn't a total grand slam in this first iteration.
First, this platform won't replace a dedicated gaming laptop. Even for those who only game on the side and have more forgiving standards for frame rates and input latency, the RTX Spark's gaming performance may not measure up to expectations.
When you put the overhead of Prism x86 emulation on top of the merely adequate performance of the Grace CPU, it’s clear that the Spark platform will have to work hard to keep up in the vast range of games that don’t have an Arm port.
The CPU-heavy Gears of War: E-Day is particularly unkind to the Prism-on-Grace stack, but even when a title like Control Resonant doesn't lean so heavily on the CPU, the limited and shared memory bandwidth of the GB10 SoC still poses an obstacle to cranking settings to the max despite the large amount of theoretical compute horsepower on tap.
We're also still waiting for Windows to fully catch up to Nvidia's ambitions for secure, manageable local agents. Our laptop expert Andrew Freedman and I couldn't test Microsoft's secure agentic AI promises within Windows 11, as the supporting features that Microsoft and Nvidia have promised to that end just aren't ready yet.
Still, for a first-generation mobile platform that joins complex silicon IP from multiple design teams onto one chip and relies on several OEM partners to bring it to life in highly integrated notebook form factors, the maturity of the RTX Spark platform is an impressive achievement. (Take it from someone who has seen a couple of rough product launches from the inside.)
Over the past week, I've been using the RTX Spark-powered Surface Laptop Ultra as I would any other Windows laptop, and aside from a couple of tiny paper cuts, I have mostly just gotten my work done as I would with any other computer. And that’s a great — albeit a very, very expensive — place to be as the local agentic AI future coalesces.
Perhaps the biggest challenge for the RTX Spark platform is that the eye-watering price tags for the range of systems available at launch still buy a lot of cloud tokens from OpenAI and Anthropic. Emphasis on a lot. The Surface Laptop Ultra we tested lists for $5899 with only 1TB of storage, and lead times for that system are already out to late December.
If you're not as concerned about keeping sensitive data out of those labs’ clouds, or you don't expect to run afoul of acceptable usage policies, you'll get much smarter tokens much faster than you will from a local token factory like the RTX Spark, and you can get them on most any reasonably powered traditional PC you have available.
But if you're surfing the AI wave on local hardware for reasons of privacy, offline model availability, freedom to tinker, or just because you think it's cool, the RTX Spark platform blends the memory capacity, compute performance, and software resources you need to get there with the familiarity and broad compatibility of Windows on top. The fact that Nvidia, Microsoft, and their partners have delivered such a capable, compatible, and polished platform even in its first at-bat should put the rest of the PC industry on notice.
Nvidia’s efforts to reshape personal computing will face strong headwinds in the immediate future from the sky-high DRAM and NAND price hikes that the company’s own Vera Rubin rollout is partially responsible for. Perhaps when the dust settles in the next two to three years, and products built around the next-generation RTX Spark Superchips arrive, we can more confidently assess whether the company has accomplished its goal.
For now, the RTX Spark feels like a platform for those who fervently believe that open AI models will continue to get more intelligent within relatively small memory footprints, and that those potential future improvements are worth a hefty chunk of change to get ready for today. Maybe that's a smart bet in a world where compute is an increasingly precious resource. But unless you're a true believer with cash to burn, our first impressions suggest that you should wait until Microsoft and Nvidia fully lay the software foundation needed for this platform to deliver on its promises.
As the Senior Analyst, Graphics at Tom's Hardware, Jeff Kampman covers everything that has to do with graphics cards, gaming performance, and more. From integrated graphics processors to discrete graphics cards to the hyperscale installations powering our AI future, if it's got a GPU in it, Jeff is on it.
▶ 칩 라이브 24 홈으로 — chiplive24.com