TESLA LIVE 24.com · 24시간 반도체·SOXL 시세·속보 한국어 실시간

Saturn Cloud, Tileward의 압축 모델을 Token Factory에 탑재해 동일한 GPU로 더 많은 토큰 생성

Yahoo Finance · 2026.11.21 03:00 · 원문 사이트
🇰🇷 한글 번역
Tileward의 압축 오픈 모델은 GPU 메모리를 확보하므로, Saturn Cloud의 토큰 팩토리 플랫폼에서 운영자는 기존에 보유한 GPU에서 더 많은 토큰을 서빙할 수 있으며, 서빙 스택이나 요금표(rate cards) 변경 없이 이를 수행할 수 있습니다. 뉴욕, 2026년 11월 20일 /PRNewswire= -- 오픈 모델을 실행하는 기업을 위한 추론 플랫폼인 Saturn Cloud는 오늘 Tileward와의 파트너십을 발표하며, Saturn Cloud의 토큰 팩토리 플랫폼에 Tileward의 압축 오픈 모델을 도입한다고 밝혔습니다. 운영자는 동일한 모델을 더 적은 GPU 메모리로 실행할 수 있으므로, 각 GPU가 더 많은 토큰을 서빙할 수 있습니다. Saturn Cloud의 토큰 팩토리는 GPU 클러스터를 관리되는 추론 및 파인튜닝 서비스로 전환하여, 운영자가 자체 브랜드로 자체 고객에게 판매할 수 있도록 합니다. 테넌트 격리, 할당량, 계량, 엔터프라이즈 거버넌스가 내장되어 있습니다. 이 플랫폼은 퍼블릭 클라우드, 프라이빗 클라우드 또는 온프레미스에서 NVIDIA Dynamo 위에서 실행됩니다. NVIDIA GB300 GPU에서 16개의 활성 에이전트 세션에 Kimi K3를 서빙하는 Saturn Cloud는 GPU당 초당 총 7,380개의 토큰, 사용자당 약 초당 37개의 토큰을 처리했으며, 이는 동일한 GPU에서 SemiAnalysis InferenceX 벤치마크 레시피와 일치하는 수치입니다. Tileward의 모델은 이 서빙 스택에서 실행됩니다. "운영자는 이미 지불한 GPU에서 추론 서비스를 판매하며, 일반적으로 메모리가 가장 먼저 부족해집니다,"라고 Saturn Cloud의 창업자이자 CEO인 Sebastian Metti는 말했습니다. "Tileward는 그 메모리를 다시 확보하게 해주므로, 운영자는 추가 GPU 구매 없이 기존 클러스터로 더 많은 고객과 긴 컨텍스트를 처리할 수 있습니다." 스타트업을 위한 NVIDIA Inception 프로그램의 일원인 Tileward는 공개된 가중치보다 최대 78% 작은 압축 모델을 제공합니다. Tileward는 MMLU, SWE-bench Verified, AgentBench를 포함한 벤치마크에서 원본 모델과 비교하여 각 모델을 평가합니다. "모델을 더 작게 만드는 것은 결코 어려운 부분이 아니었습니다. 여전히 올바른 답을 주는지를 입증하는 것이 어렵습니다,"라고 Tileward의 창업자이자 CTO인 Anantha Sharma는 말했습니다. "우리는 모든 모델을 측정하는 방법을 공개하므로, Saturn Cloud의 운영자는 토큰을 하나도 판매하기 전에 품질을 확인할 수 있습니다." 운영자는 공개된 가중치를 Tileward의 가중치로 교체할 수 있으며, 서빙 스택, 테넌트, 요금표, 브랜드는 그대로 유지됩니다. 확보된 메모리를 통해 운영자는 각 모델의 더 많은 복사본을 실행하고, fewer GPU로 대형 모델을 실행하며, 더 긴 컨텍스트로 더 많은 동시 사용자를 서빙할 수 있습니다. 각 GPU에서 더 많은 토큰을 서빙하면 토큰당 비용이 낮아져, 운영자는 입력, 캐시, 출력 요금에서 더 높은 마진을 확보하거나 가격을 낮출 수 있는 여력을 얻게 됩니다. 지금 Saturn Cloud에서 이용 가능 gpt-oss-120b, GLM-5.3, DeepSeek-V4-Flash의 압축 버전은 자체 GPU에서 Saturn Cloud의 토큰 팩토리 플랫폼을 실행하는 네오클라우드, AI 팩토리 운영자, 통신사, 주권 AI 제공업체 및 기업에게 지금 제공됩니다. 배포에 추가하려면 Saturn Cloud 또는 Tileward에 문의하십시오.
📄 원문 (English)
Tileward's compressed open models free up GPU memory, so operators on Saturn Cloud's token factory platform can serve more tokens from the GPUs they already own, with no change to their serving stack or rate cards. NEW YORK, Nov. 20, 2026 /PRNewswire/ -- Saturn Cloud, the inference platform for enterprises running open models, today announced a partnership with Tileward to bring its compressed open models to Saturn Cloud's token factory platform. Operators can run the same models with less GPU memory, so each GPU can serve more tokens. Saturn Cloud's token factory turns GPU fleets into managed inference and fine-tuning services that operators sell to their own customers, under their own brand. Tenant isolation, quotas, metering, and enterprise governance are built in. It runs on NVIDIA Dynamo, in public cloud, private cloud, or on-premises. Serving Kimi K3 to 16 live agent sessions on NVIDIA GB300 GPUs, Saturn Cloud delivered 7,380 total tokens per second per GPU at about 37 tokens per second per user, matching the SemiAnalysis InferenceX benchmark recipe on the same GPUs. Tileward's models run on this serving stack. "Operators sell inference from GPUs they've already paid for, and memory is usually what runs out first," said Sebastian Metti, Founder and CEO of Saturn Cloud. "Tileward gives that memory back, so operators can take on more customers and longer contexts with the fleet they have, without buying more GPUs." Tileward, a member of the NVIDIA Inception program for startups, offers compressed models that are up to 78% smaller than the published weights. Tileward evaluates each one against the original on benchmarks including MMLU, SWE-bench Verified, and AgentBench. "Making a model smaller was never the hard part. Proving it still gives the right answers is," said Anantha Sharma, Founder and CTO of Tileward. "We publish how we measure every model, so operators on Saturn Cloud can check the quality before they sell a single token of it." Operators can swap in Tileward's weights for the published ones, and their serving stack, tenants, rate cards, and brand stay the same. The freed memory lets them run more copies of each model, fit large models on fewer GPUs, and serve more concurrent users with longer contexts. Serving more tokens from each GPU lowers the cost per token, giving operators more margin on input, cached, and output rates, or room to price lower. Available Now on Saturn Cloud Compressed versions of gpt-oss-120b, GLM-5.3, and DeepSeek-V4-Flash are available now to neoclouds, AI factory operators, telcos, sovereign AI providers, and enterprises running Saturn Cloud's token factory platform on their own GPUs. Contact Saturn Cloud or Tileward to add them to a deployment.
▶ 칩 라이브 24 홈으로 — chiplive24.com

다른 반도체 뉴스

SK hynix Sinks 21% in a Week With Micron and Sandisk. Its U.S. Premium Is an “Extra Special Case” · Yahoo FinanceThis week on Tom's Hardware Premium: 21 November 2026 — AMD, Nvidia and more show off the future of high-performance computing at SC26 · Tom's HardwareThis week on Tom's Hardware Premium: 21 November 2026 — AMD, Nvidia and more show off the future of high-performance computing at SC26 · Tom's HardwareAfter Plummeting 62% This Year, Could Buying Intel Stock Today Set You Up for Life? · Yahoo FinancePrediction: Nvidia Stock Will Be Worth This Much in 1 Year · Yahoo FinanceApplied Materials vs. Nvidia: Which Tech Stock Is a Better Buy for 2027? · Yahoo FinanceTrump Calls Huang’s Exit “Such a Tragedy” as His Filing Shows Up to $380,000 of Nvidia Buys · Yahoo FinanceChip Stocks are Now Repeating What Happened in 2001 · Yahoo Finance