유럽에 불씨를 지피다: 지역 기반 AI가 차세대 에이전트 시대를 주도
🇰🇷 한글 번역
GTC 베를린에서 엔비디아는 로컬 AI 하드웨어 풀 라인업을 선보이고 있다. 지난주 출시된 RTX Spark는 윈도우 PC에서 개인 에이전트를 구동하며, DGX Spark는 리눅스에서 애플리케이션을 구축하고 확장하는 개발자를 지원한다. DGX Station은 리눅스에서 최전방 워크로드를 실행하는 기업 팀을 위해 설계되었으며, 윈도우 버전은 12월에 출시될 예정이다.
주요 발표 내용은 다음과 같다.
- RTX Spark를 위해 이제 사용 가능한 언더독 데스크톱 에이전트(Underdog Desktop Agent)
- 10월 23일(금) 출시 예정인 DGX Spark 64GB
- 이번 달 DGX Spark 8대를 지원하고 모델 런처(Model Launcher)를 추가하는 엔비디아 싱크(NVIDIA Sync)
- Wi-Fi 어시스턴트 추가 및 DGX Spark 스킬 업데이트를 포함한 10월 DGX Spark 소프트웨어 업데이트
- 7가지 새로운 통합 기능을 통해 관리성을 개선한 DGX Station
- 많은 제조업 애플리케이션과 에이전트 하니스(Harness)를 지원하며 12월에 출시될 DGX Station for Windows
- DGX Station을 위한 로봇공학을 위한 3가지 새로운 오픈 소스 레퍼런스 워크플로우
- DGX Station을 위한 초기 액세스(early access)로 제공되는 엔비디아 클라우드 함수(NVIDIA Cloud Functions)
- 엔비디아 로컬 하드웨어를 위해 이제 사용 가능한 새로운 로컬 코딩 모델인 리커시브 플린트(Recursive Flint)
- 새로운 Nemotron, GLM, DeepSeek, , MiniMax 및 FLUX.3 AI 모델에 대한 데이드-0(Day-0) 지원
- llama.cpp 및 vLLM 추론 엔진을 위한 새로운 가속화 기능과 로컬 AI 하드웨어에 최적화된 새로운 체크포인트 컬렉션
아래에서 이러한 로컬 AI 발표에 대해 자세히 알아보고, GTC 베를린의 데모 및 세션을 확인하라.
RTX Spark가 윈도우 PC에 개인 에이전트를 가져오다
RTX Spark는 PC의 새로운 시작이다. 최대 128GB의 통합 메모리와 1페타플롭(Petaflop)의 AI 컴퓨팅 성능을 바탕으로 개인 에이전트 실행, 가속화된 콘텐츠 제작 및 1440p 100프레임/초 게임을 지원한다.
10월 16일 출시 이후 이 플랫폼에 대한 초기 리뷰어들의 평은 다음과 같다.
“심각한 크리에이터를 위한 꿈의 머신…” — CGMag
“AI의 미래를 위해 설계됨…” — 더 버지(The Verge)
“매우 유능하고 놀라울 정도로 휴대성이 뛰어나며 효율적인 머신…” — PCMag
완전히 로컬이고 프라이빗한 AI를 위해 구축된 새로운 데스크톱 에이전트 앱인 언더독(Underdog)도 RTX Spark에 그 경험을 제공하고 있다. Husky 모델 전용 추론 엔진으로 구동되는 언더독은 모델을 장치 전체에서 완전히 실행하므로 개인 에이전트가 사용자 데이터를 PC에서 한 번도 벗어나지 않고 작업을 완료할 수 있다. 언더독은 이제 다운로드할 수 있다.
개발자와 애호가들이 로컬 에이전트를 구축하고 사용자 지정할 수 있도록 돕기 위해, 많은 RTX Spark 노트북에는 잠금 해제된 부트로더(unlocked bootloader)가 탑재되어 있다.
GTC 키노트에서 엔비디아 창립자이자 최고경영자(CEO)인 젠슨 황은 RTX Spark에서 실행되는 AI 에이전트를 사용하여 엔비디아 이삭 랩(Isaac Lab), 헤르메스 에이전트(Hermes Agent) 및 Nemotron 3.5 Bolt 74B를 통해 허깅 페이스(Hugging Face)의 마이크로덕(Microduck) 로봇을 훈련하는 방법을 선보였다.
ASUS, 델 테크놀로지스, HP, 레노버, 마이크로소프트, MSI 노트북이 오늘 출시되었으며, 아서(Acer)는 곧 출시될 예정이다.
RTX Spark에 대해 자세히 알아보고 최신 RTX Spark 플레이북(playbooks)으로 시작하라.
DGX Spark가 개발자에게 구축의 공간을 제공하다
Nemotron 3.5 Bolt 74B 24GB, 27B, Gemma 4 26B-A4B 등을 포함한 모델을 실행할 수 있는 새로운 DGX Spark 64GB 시스템이 10월 23일(금)부터 파트너를 통해 출시되기 시작한다.
워크로드에 더 많은 용량이 필요할 경우, 개발자는 내장된 엔비디아 ConnectX-7 네트워킹과 엔비디아 싱크 클러스터 어시스턴트(NVIDIA Sync Cluster Assistant)를 통해 여러 DGX Spark 시스템을 연결할 수 있다. 이를 통해 3.8 Flash Next, DeepSeek v4 Flash 0731, GLM 5.3 Flash와 같은 고급 코딩 모델을 실행할 수 있다.
현재 DGX Spark는 수동 구성 방식으로 최대 8개 유닛으로 구성된 클러스터를 지원하여 더 큰 모델, 긴 컨텍스트, 동시 에이전트 실행 및 분산 개발을 가능하게 합니다. 단일 클러스터를 백엔드로 공유하는 소규모 팀에 이상적이며, 각 개발자가 동일한 모델을 대상으로 동시 세션을 실행할 수 있도록 설계되었습니다. 이 시스템은 1TB의 통합 메모리를 제공하여 GLM 5.3과 같은 최첨단 클래스의 모델을 실행하기에 충분한 용량을 갖추고 있습니다.
DGX Spark 클러스터 플레이북을 통해 시작해 보세요.
NVIDIA Sync Model Launcher는 이번 달 말에 추가로 제공됩니다. 이는 단일 DGX Spark 또는 클러스터에서 로컬 AI에 대한 접근을 단순화합니다. 몇 번의 클릭만으로 Model Launcher는 구성에 맞는 모델과 컨테이너를 다운로드하고, 해당 모델을 OpenCode에 연결합니다. 또한 문제 해결, 장치 유지보수, 공식 문서 접근 및 기타 워크플로우 안내를 위해 DGX Spark Skills를 자동으로 로드합니다.
10월 DGX Spark 소프트웨어 업데이트에는 DGX Spark가 애플리케이션 모드에서 실행 중일 때 사용자가 네트워크를 전환할 수 있는 새로운 Wi-Fi 어시스턴트가 포함됩니다. 또한 DGX Spark Skills는 OpenCode를 통해 NVIDIA Sync 내에서 문제 해결 및 장치 유지보수에 초점을 맞춘 워크플로우 가이드를 직접 제공합니다.
DGX Spark 시스템은 Acer, ASUS, Dell Technologies, GIGABYTE, HP, Lenovo, MSI 및 NVIDIA로부터 직접 구매할 수 있습니다.
DGX Station, 책상 위에 최첨단 지능을 가져오다
더 큰 팀을 위해 DGX Station은 748GB의 일관된 메모리와 최대 20 petaflops의 AI 성능을 제공하여 개발자가 GLM 5.3과 같은 고급 모델을 실행하고 클라우드 모델이 제공하는 속도에 버금가는 속도로 30명 이상의 사용자에게 서비스를 제공할 수 있게 합니다. 확장성을 더하기 위해 NVIDIA Sync는 이제 DGX Station을 지원하여 두 개의 Linux 기반 시스템 간의 연결을 단순화합니다.
Absolute Security, Splunk by Cisco, Fleet Device Management, Microsoft Intune, Perforce Puppet, Progress Software Chef 및 Tanium과의 새로운 통합을 통해 IT 팀은 엔터프라이즈 설정, 관리 및 규정 준수 프로세스를 통해 DGX Station 시스템을 관리할 수 있습니다. 이는 승인 절차를 가속화하고 배포 위험을 줄이는 동시에 첫 번째 토큰 생성까지의 시간을 최소화하는 데 도움이 됩니다.
곧 출시될 Windows 기반 시스템을 통해 개발자는 NVIDIA RTX PRO GPU에서 실행되는 전문 응용 프로그램을 활용하고, NVIDIA GB300 시스템에서 대형 언어 모델(LLM)을 실행하는 에이전트와 함께 작동하는 워크플로우를 단일 머신에서 구축할 수 있습니다.
12월 시스템 제조업체 파트너들을 통해 출시가 예상되는 Windows용 DGX Station은 이미 기업이 사용하는 응용 프로그램과 운영 환경으로 로컬 AI를 확장합니다. 엔지니어는 동일한 시스템에서 AI 모델, 도구 및 에이전트에 접근할 수 있는 Windows 네이티브 소프트웨어에서 로컬 모델과 에이전트를 실행할 수 있습니다.
Windows용 DGX Station은 nTop, Dassault Systèmes, Keysight Technologies, MathWorks, Rockwell Automation, Siemens, Synopsys, Unity 및 Altera의 제조용 응용 프로그램을 지원하여 AI 기반 설계, 시뮬레이션, 검증 및 엔지니어링 자동화를 가능하게 합니다. 사용자는 엔터프라이즈 환경에서 에이전트 제어용으로 Hermes Agent, Perplexity 또는 Aible를 사용하여 온프레미스에서 에이전트를 실행할 수 있습니다.
이러한 동일한 로컬 제어형 컴퓨팅 모델은 로봇공학 분야로도 확장됩니다. DGX Station은 로봇공학 팀에게 공유 인프라를 기다릴 필요 없이 반복 주기를 단축할 수 있는 사후 학습, 시뮬레이션 및 평가를 위한 전용 컴퓨팅 리소스를 제공합니다.
NVIDIA는 GPT-6 Astra, NVIDIA Isaac Lab, Isaac Lab-Arena, Cosmos를 NVIDIA DGX Station으로 가져오는 세 가지 오픈 소스 레퍼런스 워크플로우를 출시했다. 개발자들은 이를 활용하여 강화 학습으로 GR00T 1.7 모델을 정제하고, 정교한 조작 기술을 훈련하며, 합성 데이터 생성을 위해 Cosmos 세계 모델을 사후 훈련(post-train)할 수 있다.
NVIDIA Cloud Functions는 초기 접근(early access)을 통해 리눅스 기반 DGX Station에서 제공된다. 팀은 공유 카탈로그에 로컬 모델 엔드포인트를 등록하고 하나의 OpenAI 호환 엔트리 포인트를 통해 이에 접근할 수 있다.
개발자는 애플리케이션 코드를 변경하지 않고도 엔드포인트 뒤의 모델을 업그레이드할 수 있으며, 동료들은 직접적인 머신 접근 없이 공유된 모델을 사용할 수 있다. 이는 DGX Station을 팀을 위한 로컬 제어 추론 서비스로 전환시킨다.
DGX Station은 AI 팩토리 개발에 로컬 반복(local iteration)을 가져온다. GTC 베를린 쇼 플로어에서 NVIDIA는 DSX OS가 DGX Station에서 실행되는 모습을 미리 선보이며, 전체 인프라가 이용 가능하기 전에 AI 팩토리 운영을 시뮬레이션한다. 또 다른 데모는 30명 이상의 소프트웨어 개발자를 위한 로컬 토큰 팩토리를 구동하는 DGX Station 시스템을 선보일 예정이다.
DGX Station 시스템은 오늘부터 ASUS, Dell Technologies, GIGABYTE, HP, MSI, Supermicro, Exxact에서 출하되고 있다. Windows용 DGX Station 시스템은 올해 말 ASUS, Dell Technologies, GIGABYTE, HP, MSI, Supermicro로부터 출하될 예정이다.
Recursive Flint 소개 — RTX Spark용으로 최적화된 새로운 로컬 코딩 모델
오늘, 최첨단 AI 연구소인 Recursive Superintelligence는 빠르고 정확한 코딩을 위해 설계된 로컬 LLM인 Recursive Flint를 출시했다. 25억 개의 활성 파라미터를 가진 400억 파라미터의 mixture-of-experts 모델인 Recursive Flint는 64GB RTX Spark에서 초당 220개 이상의 토큰을 처리하는 빠른 추론 속도를 제공하며, SWE-Bench Pro v2, Terminal-Bench 2.1, SWE-bench verified와 같은 에이전틱 코딩 벤치마크에서 최고 수준의 점수를 기록한다.
Recursive Flint는 대규모 자동화 AI 연구를 위한 시스템인 Recursive의 Eureka Machine을 사용하여 구축되었다. 이는 아이디어 제안, 구현, 아이디어 검증을 위한 실험 실행, 그리고 다음 시도를 결정하기 위해 결과를 활용하는 전체 연구 루프를 자동화한다. 이를 통해 모델의 가중치를 변경하지 않고 RTX Spark에서의 Flint 생성 속도를 55% 향상시키는 전용 커널을 생성했다.
개발자는 Apache 2.0 라이선스 하에 Hugging Face에서 오픈 가중치를 다운로드하여 RTX Spark 및 DGX Spark 시스템, 그리고 GeForce RTX 및 RTX PRO GPU에서 모델을 실행할 수 있다. 또한 개발자는 NeMo Automodel을 사용하여 지도 미세 조정(supervised fine-tuning) 및 저랭크 적응(Low-Rank Adaptation, LoRa)을 수행하거나, NeMo RL을 사용하여 그룹 상대 정책 최적화(group relative policy optimization)를 통해 모델을 사후 훈련할 수 있다.
데이-제로(day-zero) 모델 지원 추가
NVIDIA는 또한 NVIDIA Nemotron Bolt E4B 4B, GLM, DeepSeek, , MiniMax, Liquid AI의 LFM2.5-24B-A2B, 그리고 FLUX.3 Klein 확산 모델에 대한 데이-제로 모델 지원을 추가하고 있다.
Nemotron Bolt E4B 4GB는 자연스러운 대화와 다중 턴 에이전틱 스킬을 최소 4GB의 메모리에 압축하여 NVIDIA GeForce RTX GPU, NVIDIA Jetson 장치, RTX 및 DGX Spark에서 빠른 로컬 음성 비서, 대화형 게임 캐릭터 및 임베디드 인터페이스를 구동한다. Bolt E4B 4GB는 10월 23일 금요일에 출시된다.
Black Forest Labs의 FLUX 3 Image Klein은 생성 및 편집을 위한 56억 파라미터의 오픈 가중치 이미지 모델이다. NVIDIA 최적화 빌드는 최소 8GB의 VRAM을 갖춘 GeForce RTX GPU에서 실행될 수 있으며, RTX 5090 GPU에서 약 4초 만에 1메가픽셀 이미지를 생성한다.
MiniMax M3.1 Flash는 NVIDIA DGX Station 및 DGX Spark를 위해 구축된 새로운 오픈 모델로, 데스크톱에서 긴 컨텍스트 AI를 실현합니다. Liquid AI의 LFM2.5-24B-A2B는 오픈 가중치를 가진 추론 모델로, 240억 개의 파라미터 중 매 토큰마다 20억 개의 파라미터만 활성화되어 개인용 PC에서 직접 프라이빗하고 도구 호출이 가능한 AI 에이전트를 실행할 수 있을 만큼 빠릅니다.
또한 NVIDIA는 로컬 AI 하드웨어에서 RAM 효율성을 최적화한 새로운 모델 체크포인트 컬렉션을 출시하여, KV 캐시를 위한 충분한 메모리를 남겨둔 상태로 최첨단 수준의 오픈 모델을 실행할 수 있도록 했습니다. 각 체크포인트는 완전 정밀도 정확도에 근접한 상태를 유지하면서 양자화되었으며, 단일 DGX Spark 128GB 또는 RTX PRO 6000 시스템에서는 , 두 시스템에서는 GLM-5.3-Flash-FP4-Local이 시작 모델로 제공됩니다.
개발자는 DGX Spark와 RTX Spark 모두에서 NeMo AutoModel을 사용하여 Day Zero에 사후 학습(post-training)을 진행할 수 있으며, Nemotron Bolt E4B, Flux 3 Image Klein 등을 위한 예제 레시피를 제공합니다.
가속화된 AI 추론
NVIDIA는 로컬 하드웨어에서 에이전트 워크로드를 가속화하기 위해 llama.cpp 및 vLLM 오픈 소스 커뮤니티와 지속적으로 협력하고 있습니다.
llama.cpp에서는 3.8 Flash Next를 위한 MTP(다중 토큰 예측) 기반의 새로운 스펜크티브 디코딩 지원으로, NVIDIA RTX PRO 6000 Blackwell에서 엔드투엔드 에이전트 작업 속도가 최대 1.4배 빨라졌습니다.
vLLM에서는 선형 어텐션 레이어를 위한 더 빠른 스펜크티브 디코딩과 새로운 FlashInfer 프리필 커널 덕분에 DGX Spark에서 27B 기반 에이전트 작업 속도가 최대 1.3배 빨라졌으며, DGX Station에서는 GLM 5.3 Flash의 처리량이 최대 1.2배 향상되었습니다.
이러한 최신 최적화를 직접 체험해 보려면 NVIDIA의 로컬 AI 추론 레시피를 참조하십시오.
NVIDIA RTX Spark를 X, Instagram, TikTok 및 Facebook에서 팔로우하고, NVIDIA 로컬 AI 뉴스레터 구독을 통해 최신 정보를 받아보세요. NVIDIA Workstation은 LinkedIn과 X에서 팔로우하십시오.
소프트웨어 제품 정보에 관한 고지를 참조하십시오.
📄 원문 (English)
At GTC Berlin, NVIDIA is showcasing its full lineup of local AI hardware. RTX Spark, which launched last week, powers personal agents on Windows PCs; DGX Spark supports developers building and scaling applications on Linux; and DGX Station serves enterprise teams running frontier workloads on Linux, with a Windows version arriving in December.
Announcements include:
- Underdog Desktop Agent now available for RTX Spark
- DGX Spark 64GB available on Friday, Oct. 23
- NVIDIA Sync to support eight DGX Sparks and add Model Launcher this month
- October DGX Spark software update adds Wi-Fi Assistant and updates DGX Spark Skills
- DGX Station improves manageability with seven new integrations
- DGX Station for Windows launches in December with support for many manufacturing apps and agent harnesses
- Three new open source reference workflows for robotics on DGX Station
- NVIDIA Cloud Functions is coming in early access to DGX Station
- Recursive Flint, a new local coding model, is now available for NVIDIA local hardware
- Day-0 support for new Nemotron, GLM, DeepSeek, Qwen, MiniMax and FLUX.3 AI models
- New accelerations for llama.cpp and vLLM inference engines and a new collection of checkpoints optimized for local AI hardware.
Learn more about these local AI announcements below, and check out the demos and sessions at GTC Berlin.
RTX Spark Brings Personal Agents to the Windows PC
RTX Spark is a new beginning for the PC — running personal agents, accelerated content creation and 1440p 100 frames-per-second gaming with up to 128GB of unified memory and 1 petaflop of AI compute.
Here’s what early reviewers are saying about the platform since its October 16 release:
“A dream machine for serious creators … ” — CGMag
“Designed for the future of AI … ” — The Verge
“An extremely capable, surprisingly portable and efficient machine … ” — PCMag
Underdog, a new desktop agent app built for fully local, private AI, is also bringing its experience to RTX Spark. Powered by its Husky model-specific inference engine, Underdog runs models entirely on device, so personal agents can get work done without user data ever leaving the PC. Underdog is available now for download.
To better enable developers and enthusiasts to build and customize local agents, many RTX Spark laptops come with an unlocked bootloader.
During the GTC keynote, NVIDIA founder and CEO Jensen Huang showed off how AI agents running on RTX Spark can be used to train Hugging Face’s Microduck robot using NVIDIA Isaac Lab, Hermes Agent and Nemotron 3.5 Bolt 74B.
ASUS, Dell Technologies, HP, Lenovo, Microsoft and MSI laptops are available today, with Acer coming soon.
Learn more about RTX Spark, and get started with the latest RTX Spark playbooks.
DGX Spark Gives Developers Room to Build
New DGX Spark 64GB systems — that can run models including Nemotron 3.5 Bolt 74B 24GB, Qwen3.8 27B and Gemma 4 26B-A4B — start rolling out from partners on Friday, Oct. 23.
When workloads require more capacity, developers can connect multiple DGX Spark systems via built-in NVIDIA ConnectX-7 networking and NVIDIA Sync Cluster Assistant. This allows users to run advanced coding models like Qwen 3.8 Flash Next, DeepSeek v4 Flash 0731 and GLM 5.3 Flash.
Now, DGX Spark supports clusters of up to eight units in manual configuration, enabling larger models, longer contexts, concurrent agents and distributed development. Ideal for small teams sharing a single cluster as a backend, with each developer running concurrent sessions against the same model, it delivers 1TB of unified memory — enough to run frontier-class models like GLM 5.3.
Get started with the DGX Spark cluster playbook.
NVIDIA Sync Model Launcher will also be available later this month. It simplifies access to local AI on a single DGX Spark or a cluster. With a few clicks, Model Launcher downloads a model and container suited to the configuration and connects the model to OpenCode. It automatically loads DGX Spark Skills for troubleshooting, device maintenance, access to official documentation and other workflow guidance.
The October DGX Spark software update brings a new Wi-Fi Assistant that lets users switch networks when DGX Spark is running in appliance mode. Plus, DGX Spark Skills provide workflow-focused guidance in troubleshooting and device maintenance directly into NVIDIA Sync via OpenCode.
DGX Spark systems are available directly from Acer, ASUS, Dell Technologies, GIGABYTE, HP, Lenovo, MSI and NVIDIA.
DGX Station Puts Frontier Intelligence at the Desk
For larger teams, DGX Station offers 748GB of coherent memory and up to 20 petaflops of AI performance, enabling developers to run advanced models like GLM 5.3 and serve 30+ users at speeds comparable to those provided by cloud models. Adding scale, NVIDIA Sync now supports DGX Station, simplifying connections between two Linux-based systems.
New integrations with Absolute Security, Splunk by Cisco, Fleet Device Management, Microsoft Intune, Perforce Puppet, Progress Software Chef and Tanium let IT teams manage DGX Station systems through enterprise setup, management and conformity processes, helping accelerate approvals and reduce deployment risk while minimizing time to first token.
With the upcoming Windows-based systems, developers can build workflows that harness professional applications, run on NVIDIA RTX PRO GPUs and operate from agents that run their large language models (LLMs) on NVIDIA GB300 systems — all in one machine.
DGX Station for Windows, expected from system manufacturer partners in December, extends local AI into the applications and operating environment enterprises already use. Engineers can run local models and agents in Windows-native software with access to AI models, tools and agents on the same system.
DGX Station for Windows will feature support for manufacturing applications from nTop, Dassault Systèmes, Keysight Technologies, MathWorks, Rockwell Automation, Siemens, Synopsys, Unity and Altera for AI-guided design, simulation, validation and engineering automation. Users will be able to run agents using Hermes Agent, Perplexity or Aible on premises for agentic control in enterprise environments.
The same local, controlled computing model extends to robotics. DGX Station gives robotics teams dedicated compute for post-training, simulation and evaluation, shortening iteration cycles without waiting for shared infrastructure.
NVIDIA released three open source reference workflows that bring GPT-6 Astra, NVIDIA Isaac Lab, Isaac Lab-Arena and Cosmos to NVIDIA DGX Station. Developers can use them to refine GR00T 1.7 models with reinforcement learning, train dexterous manipulation skills and post-train Cosmos world models for synthetic data generation.
NVIDIA Cloud Functions is coming in early access to Linux-based DGX Station. Teams can register local model endpoints in a shared catalog and access them through one OpenAI-compatible entry point.
Developers can upgrade the model behind an endpoint without changing application code, while teammates can use shared models without direct machine access. This turns a DGX Station into a locally controlled inference service for a team.
DGX Station brings local iteration to AI factory development. On the show floor at GTC Berlin, NVIDIA is previewing DSX OS running on DGX Station to simulate AI factory operations before full infrastructure is available. Another demo will showcase DGX Station systems powering a local token factory for more than 30 software developers.
DGX Station systems are shipping today from ASUS, Dell Technologies, GIGABYTE, HP, MSI, Supermicro and Exxact. DGX Station for Windows systems are expected to begin shipping later this year from ASUS, Dell Technologies, GIGABYTE, HP, MSI and Supermicro.
Introducing Recursive Flint — A New Local Coding Model Optimized for RTX Spark
Today, frontier AI lab Recursive Superintelligence released Recursive Flint, a local LLM built for fast, accurate coding. A 40-billion-parameter mixture-of-experts model with 2.5 billion active parameters, Recursive Flint delivers fast inference — over 220 tokens per second on a 64GB RTX Spark — along with best-in-class scores in agentic coding benchmarks like SWE-Bench Pro v2, Terminal-Bench 2.1 and SWE-bench verified.
Recursive Flint was built using Recursive’s Eureka Machine, a system for large-scale automated AI research. It automates the full research loop: proposes ideas, implements them, runs experiments to validate ideas and uses the results to decide what to try next — creating specialized kernels that boosted Flint’s generation speed on RTX Spark by 55% without changing the model’s weights.
Developers can download the open weights on Hugging Face under the Apache 2.0 license and run the model on RTX Spark and DGX Spark systems, as well as GeForce RTX and RTX PRO GPUs. Developers can also post-train the model with NeMo Automodel for supervised fine-tuning and low-rank adaptation, or LoRa, as well as NeMo RL for group relative policy optimization.
New Models With Day-Zero Support
NVIDIA is also adding day-zero model support for NVIDIA Nemotron Bolt E4B 4B, GLM, DeepSeek, Qwen, MiniMax, Liquid AI’s LFM2.5-24B-A2B, plus the FLUX.3 Klein diffusion model.
Nemotron Bolt E4B 4GB packs natural conversation and multi-turn agentic skills into as little as 4GB of memory, powering fast local voice assistants, interactive game characters and embedded interfaces on NVIDIA GeForce RTX GPUs, NVIDIA Jetson devices, and RTX and DGX Spark. Bolt E4B 4GB releases on Friday, Oct. 23.
Black Forest Labs’ FLUX 3 Image Klein is a 5.6-billion-parameter open weights image model for generation and editing. NVIDIA-optimized builds let it run on GeForce RTX GPUs with as little as 8GB of VRAM and create a 1-megapixel image in about four seconds on an RTX 5090 GPU.
MiniMax M3.1 Flash is a new open model built for NVIDIA DGX Station and DGX Spark, bringing long-context AI to the desktop. Liquid AI’s LFM2.5-24B-A2B is an open weights reasoning model that activates just 2 billion of its 24 billion parameters per token, making it fast enough to run private, tool-calling AI agents directly on PCs.
Plus, NVIDIA has released a new collection of model checkpoints optimized for RAM efficiency on local AI hardware, enabling frontier-class open models to run with sufficient memory left over for KV cache. Each checkpoint is quantized while staying close to full-precision accuracy, starting with Qwen3.8-Flash-Next-FP4-Local on a single DGX Spark 128GB or RTX PRO 6000 and GLM-5.3-Flash-FP4-Local on two systems.
Developers can post-train on day zero with NeMo AutoModel on both DGX Spark and RTX Spark, with example recipes for Nemotron Bolt E4B, Flux 3 Image Klein and more.
Accelerated AI Inference
NVIDIA continues to work with the llama.cpp and vLLM open source communities to accelerate agentic workloads on local hardware.
In llama.cpp, new speculative decoding support with MTP for Qwen 3.8 Flash Next makes end-to-end agentic tasks up to 1.4x faster on NVIDIA RTX PRO 6000 Blackwell.
In vLLM, faster speculative decoding and new FlashInfer prefill kernels for Qwen’s linear-attention layers make agentic tasks with Qwen3.8 27B up to 1.3x faster on DGX Spark. On DGX Station, GLM 5.3 Flash gets up to 1.2x higher throughput.
Check out NVIDIA’s local AI inference recipes to try these latest optimizations.
Follow NVIDIA RTX Spark on X, Instagram, TikTok and Facebook — and stay informed by subscribing to the NVIDIA Local AI newsletter. Follow NVIDIA Workstation on LinkedIn and X.
See notice regarding software product information.
▶ 칩 라이브 24 홈으로 — chiplive24.com