엔비디아, AI 에이전트용 120B Nemotron 3.5 슈퍼 VL 모델 및 4GB·24GB 엣지 모델 2종 공개
🇰🇷 한글 번역
NVIDIA는 방금 Hugging Face를 인수하기로 합의한 후 특히 그러한 AI 모델들의 거대한 저장고 역할을 하는 플랫폼인 Hugging Face를 인수하기로 최근 합의한 후, 오픈 가중치 모델로의 추진을 가속화하는 데 주력하는 것으로 보인다.
한 가지 사례로, NVIDIA는 항상 켜져 있는 에이전트를 조정하기 위한 1200억 파라미터의 Nemotron 3.5 Super VL, 로컬 에이전트 워크로드를 최적화하기 위한 Nemotron 3.5 Bolt 74B-A9B 24GB, 그리고 빠른 대화형 에이전트를 위한 Nemotron 3.5 Bolt E4B 4GB를 포함한 세 가지 새로운 오픈 가중치 모델을 최근 공개했다.
NVIDIA는 새로운 고효율 Super VL 및 Bolt 클래스 모델을 공개함으로써 Nemotron 라인업을 확장했다.
이전에 언급했듯이, NVIDIA의 Nemotron 3.5 Super VL은 특수화된 항상 켜져 있는 에이전트를 위해 설계된 오픈 가중치 1200억 파라미터 모델이다. 이 기술 거대 기업은 이 모델이 지시 따르기, 도구 사용, 시각적 이해, 다단계 비즈니스 워크플로우를 포함한 다중 모달 에이전트 작업에서 '최고의 정확도'를 제공하며, 파라미터 수가 약 5분의 1에 불과함에도 불구하고 NVIDIA의 가장 큰 추론 모델과 비교할 만한 성능을 달성한다고 주장한다.
NVIDIA는 이것이 해당 클래스에서 가장 빠른 오픈 가중치 에이전트 모델이라고 주장하며, 가장 가까운 경쟁사보다 약 5배 빠른 속도로 작동하여 대량의 기업 작업을 신속하게 완료할 수 있다고 밝혔다.
이 모델은 '강력한 시각적 기능'을 갖추고 있으며, 특히 웹 페이지와 PDF와 같은 시각적 문서 내의 문자 인식, 표, 차트 및 구조화된 데이터를 대상으로 한다. 텍스트 및 시각적 이해를 결합함으로써 에이전트가 별도의 시스템 간 작업을 라우팅하지 않고도 텍스트를 추출하고, 그래프를 읽으며, 통찰력을 생성할 수 있게 한다.
게다가 기업들은 NVIDIA의 Nemotron 3.5 Super VL을 자체 독점 데이터, 도구 및 워크플로우로 사후 훈련한 다음, 최대의 프라이버시와 제어를 위해 선호하는 인프라에 배포할 수 있다.
NVIDIA는 Nemotron 3.5 Super VL을 25조 토큰과 약 400만 개의 사후 훈련 샘플로 이미 훈련했으며, 오픈 가중치, 데이터세트 및 훈련 레시피를 제공하고 있다. 또한 이 모델은 DGX Spark, DGX Station, Jetson 및 클라우드 환경을 포함한 NVIDIA의 전체 하드웨어 스택에서 원활하게 실행되며, NVIDIA NIM을 통해 프로덕션 준비가 완료된 마이크로서비스로 패키징된다.
한편, NVIDIA의 Nemotron 3.5 Bolt 74B-A9B 24GB는 로컬 에이전트 워크로드를 처리하도록 최적화된 엣지 모델이다. Super VL 아키텍처를 기반으로 하는 이 하이브리드 혼합 전문가(MoE) 모델은 740억 개의 파라미터를 포함하지만 한 번에 90억 개만 활성화한다.
중요하게도, Nemotron 3.5 Bolt 74B-A9B 24GB는 2비트 양자화를 사용하여 24GB의 메모리에 맞출 수 있으므로, 다단계 추론, 웹 브라우징 및 도구 호출이 필요한 일상적인 로컬 작업을 관리하기 위해 속도와 지능의 균형을 맞춘다.
또한 Nemotron 3.5 Bolt 74B-A9B 24GB 사용자는 클라우드에 어떤 워크로드도 보내지 않고 PC 부품 조사 또는 코드 작성 및 디버깅과 같은 작업을 로컬로 위임할 수 있다. 이 모델은 NVIDIA RTX Spark 및 DGX Spark 64GB 하드웨어에 특화되어 있으며, vLLM, Ollama, LM Studio 및 llama.cpp와 같은 플랫폼을 지원하여 Hugging Face에서 사용할 수 있다.
마지막으로, Nemotron 3.5 Bolt E4B 4GB는 빠른 물리적 에이전트와 대화형 에이전트를 위해 특별히 개발된 엣지 모델입니다. 이 모델은 GeForce RTX, Jetson, RTX/DGX Spark 하드웨어에서 작동하도록 설계되었습니다. 이 모델은 자연스러운 대화, 다중 턴 도구 사용, 지시 따르기, 애플리케이션 상태 기반 처리를 결합하는 데 뛰어납니다. 이러한 기능들은 임베디드 인터페이스, 대화형 캐릭터, 그리고 빠른 로컬 음성 및 디바이스 비서를 효과적으로 구동할 수 있게 해줍니다.
참고로, 엔비디아는 8월에 Nemotron 3.5 Lightning을 출시하며 "유사한 크기의 모델들보다 4배 빠른" 토큰 생성 속도를 자랑했지만, 실제 에이전트 작업 속도는 단 30%만 빨라졌습니다. 즉, 모델은 토큰 출력을 4배로 늘렸지만, 에이전트 작업 가속화 측면에서는 한계가 있었습니다.
따라서 이러한 모든 모델들은 Nemotron 3.5 Lightning의 아키텍처를 많이 차용했는데, 여기에는 하이브리드 마바 트랜스포머, 다중 토큰 예측, 잠재적 MoE 구조, 그리고 추론 디코딩이 포함됩니다.
Wccftech를 구글에서 팔로우하여 더 많은 뉴스 커버리지를 피드에서 받아보세요.
📄 원문 (English)
NVIDIA appears bent on supercharging its push towards open-weight models, especially after it recently inked an agreement to acquire Hugging Face, the platform that serves as a huge repository for just such AI models.
As a case in point, consider that NVIDIA has just unveiled three new open-weight models: the 120-billion-parameter Nemotron 3.5 Super VL to coordinate always-on agents, the Nemotron 3.5 Bolt 74B-A9B 24GB for optimizing local agentic workloads, and the Nemotron 3.5 Bolt E4B 4GB for fast conversational agents.
NVIDIA has just expanded its Nemotron lineup by unveiling new high-efficiency Super VL- and Bolt-class models
As mentioned earlier, NVIDIA's Nemotron 3.5 Super VL is an open-weight, 120-billion-parameter model designed for specialized, always-on agents. The tech giant claims that the model delivers 'leading accuracy' on multimodal agentic tasks, including instruction following, tool use, visual understanding, and multistep business workflows, achieving performance comparable to NVIDIA's largest reasoning model at approximately one-fifth the parameter count.
NVIDIA further claims that this is the fastest open-weight agentic model in its class, operating at around five times the speed of its its closest competitor, thereby enabling the rapid completion of high-volume enterprise tasks.
The model features 'robust visual capabilities,' specifically targeting optical character recognition, tables, charts, and structured data within visual documents like web pages and PDFs. By combining text and visual comprehension, it allows agents to extract text, read graphs, and generate insights without routing tasks between separate systems.
What's more, enterprises can post-train NVIDIA's Nemotron 3.5 Super VL on their own proprietary data, tools, and workflows, and then deploy it on their preferred infrastructure for maximum privacy and control.
NVIDIA is providing the model with open weights, datasets, and training recipes, having already trained the Nemotron 3.5 Super VL on over 25 trillion tokens and around 4 million post-training samples. Also, the model runs seamlessly across NVIDIA's entire hardware stack, including DGX Spark, DGX Station, Jetson, and cloud environments, and is packaged as a production-ready microservice via NVIDIA NIM.
Meanwhile, NVIDIA's Nemotron 3.5 Bolt 74B-A9B 24GB is an edge model optimized for handling local agentic workloads. Based on the Super VL architecture, this hybrid mixture-of-experts (MoE) model contains 74 billion parameters but activates only 9 billion at a time.
Critically, the Nemotron 3.5 Bolt 74B-A9B 24GB utilizes 2-bit quantization, allowing it to fit into 24GB of memory, thereby balancing speed and intelligence to manage everyday local tasks that require multistep reasoning, web browsing, and tool calling.
Also, Nemotron 3.5 Bolt 74B-A9B 24GB users can locally delegate tasks, including researching PC components or writing and debugging code, without sending any workloads to the cloud. It is specialized for NVIDIA RTX Spark and DGX Spark 64GB hardware and is available on Hugging Face with support for platforms like vLLM, Ollama, LM Studio, and llama.cpp.
Finally, the Nemotron 3.5 Bolt E4B 4GB is an edge model developed specifically for fast physical and conversational agents. It is designed to operate on GeForce RTX, Jetson, and RTX/DGX Spark hardware. The model excels at combining natural conversation with multi-turn tool use, instruction following, and application state grounding. These capabilities allow it to effectively power embedded interfaces, interactive characters, and rapid local voice and device assistants.
Do note that NVIDIA launched the Nemotron 3.5 Lightning back in August, while claiming that it generated tokens at a rate that was 4x faster than "similar-sized models," but that only sped up actual agentic tasks by just 30 percent. In other words, the model quadrupled token output but delivered diminishing returns on agentic task acceleration.
As such, all of these models borrow heavily from Nemotron 3.5 Lightning's architecture, including a hybrid mamba transformer, multi-token prediction, latent MoE structure, and speculative decoding.
Follow Wccftech on Google to get more of our news coverage in your feeds.
▶ 칩 라이브 24 홈으로 — chiplive24.com