독점: “NVIDIA B200 추가 구매와 런타임 수정은 무관” – INT21의 AI 스웜이 파이썬을 대체하고 인간 전문가를 제치고 60분 만에 드라마 3 런타임을 재작성
🇰🇷 한글 번역
‘컴퓨팅을 사용하여 컴퓨팅을 개선한다’는 슬로건을 내세운 자기 개선형 인프라 스타트업 INT21은 이제 점점 더 부족해지고 있는 NVIDIA GPU에서 벗어나, 우스갯소리로 비유되는 조명을 소프트웨어 쪽으로 다시 돌려놓았다. INT21은 AI 에이전트 군집을 통해 Rust 프로그래밍 언어로 맞춤형 추론 런타임을 엔지니어링함으로써, 단 한 시간도 채 걸리지 않게 실행 가능한 추론 엔진을 구축하고 Fish Audio의 Drama 3 모델 속도를 극적으로 향상시켰다.
INT21의 독특한 방법론: AI 군집, Python 대신 Rust, 그리고 반복되는 워크플로우
INT21의 핵심 방법론인 ‘자기 개선형 인프라(Self-Improving Infrastructure)’ 중심의 접근법은 전통적인 소프트웨어 엔지니어링 패러다임을 완전히 뒤집는다. 인간 엔지니어들이 AI 모델을 실행하기 위한 코드를 painstakingly(고심하며) 작성하는 대신, INT21은 AI 에이전트 군집을 사용하여 코드를 자율적으로 작성, 테스트, 최적화한다.
수천 개의 AI 에이전트를 동시에 오케스트레이션하는 클라우드 네이티브 플랫폼인 SwarmOS는 이 시도에서 INT21의 비결이다. 이러한 에이전트들은 추론 엔진 공장(Inference Engine Factory) 내에서 작동하는데, 이는 이미 훈련된 AI 모델을 실행하여 사용자 입력을 출력으로 변환하는 기반 소프트웨어 엔진인 추론 런타임을 구축하는 데 전념하는 시스템이다. 이러한 추론 엔진은 모델 가중치를 하드웨어(GPU, TPU, CPU)에 로드하고, 토큰을 생성하기 위해 수학적인 순전파(forward pass)를 실행하며, 신경망을 더 빠른 출력을 위해 얼마나 빠르고 효율적으로 실행할 수 있는지 최적화한다.
다시 본론으로 돌아가, INT21의 AI 에이전트 군집은 올바른 소프트웨어 아키텍처를 추측하는 대신 연속적인 세 단계 루프를 따라 작동한다.
- 변형(Variation): 에이전트 군집이 동시에 여러 가지 후보 코드 구현체를 생성한다.
- 평가(Evaluation): 이러한 코드 변형들은 실제 하드웨어(예: NVIDIA B200 GPU)에서 가장 우수한 기존 기준선과 비교하여 더 빠르게 실행되는지 즉시 테스트된다.
- 선택적 유지(Selective Retention): 시스템은 작동하는 코드는 자동으로 유지하고, 실패한 코드는 폐기하며, 더 많은 성능을 끌어내기 위해 루프를 다시 실행한다.
INT21이 AI 모델을 처음부터 구축하거나 재훈련하지는 않는다는 점에 유의해야 한다. 대신, 7가지 다른 모델 유형에 걸쳐 20개 이상의 추론 엔진을 활용함으로써, AI 에이전트 군집은 특정 아키텍처(예: FP8 혼합 전문가(Mixture-of-Experts) 또는 선형 어텐션)에 어떤 최적화 트릭이 효과적인지를 기억한다. INT21이 구축하는 모든 추론 엔진은 다음 추론 엔진의 시작점인 기준선(baseline) 역할을 하며, 새로운 버전의 배포에 걸리는 시간을 극적으로 단축시킨다.
INT21의 성능 방법론의 주요 부분은 배포 경로에서 Python을 제거하는 데 중점을 둔다. Python은 널리 사용자 친화적이지만 느린 것으로 간주되며, Python의 CPU 지연 시간을 숨기기 위해 프로세스 간 통신(IPC)과 같은 복잡한 우회 방법을 필요로 한다는 점에 유의해야 한다. 이는 서로 다른 프로그램 간에 데이터를 전달하는 데 사용되는 방법이다. INT21의 AI 에이전트 군집은 하드웨어 한계에 더 가깝게 상호작용하는 컴파일되고 메모리 안전한 언어인 Rust로 런타임을 작성하여, 이러한 번거로운 우회 방법을 필요로 하지 않게 한다.
요약하자면, INT21의 워크플로우 하에서는 인간이 코드를 작성하지 않는다. 대신 엔지니어들은 제약 조건, 대상 하드웨어, 그리고 수용 기준을 정의하기만 하면 된다. 그들은 군집을 대상 지점으로 향하게 하고, 에이전트들은 성능 지표가 충족될 때까지 루프를 실행한다.
Fish Audio의 Drama 3 모델의 경우, INT21은 AI 에이전트 군집을 활용하여 약 60분 만에 맞춤형 추론 엔진을 설계할 수 있었다:
- 시작점: Fish Audio의 공개 릴리스로, 조기 접근 권한은 없었다. 기준선은 SGLang-Omni였는데, 이는 음성, 오디오 및 텍스트-음성 변환(TTS) 모델을 위해 특별히 설계된 고성능 서빙 프레임워크로, 출시 당일(day-zero) 지원을 받았다.
- 출력물: 서빙 경로에 Python이 없는 컴파일된 Rust 런타임으로, 모델 접근 가능 후 1시간 만에 작동 가능했다.
- 설정: 두 런타임 모두 2개의 NVIDIA B200 GPU에서 실행되었으며, 하나의 GPU는 생성용, 다른 하나의 GPU는 코덱용으로 사용되었다. 각 테스트는 하나의 음성 스트림, 1프레임의 첫 번째 청크(chunk), 그리고 세 가지 프롬프트 각각에 대해 20회의 워밍업 시도를 포함했다.
- 결과: 첫 번째 오디오 생성까지의 시간은 SGLang-Omni의 37.79~38.61ms 대비 15.11~23.58ms로 단축되었다. 처리량(throughput)은 1.59~1.63배 더 높았으며, 모든 프롬프트에서 실시간 인자(real-time factor)가 더 낮았다.
인터뷰 Q&A
이제 INT21이 Fish Audio의 Drama 3 모델과 관련해 실제로 어떤 일을 했는지 감이 잡혔으니, INT21의 CEO이자 창립자인 빙 쉬(Bing Xu)와의 Q&A 세션으로 넘어가자.
Q1) Drama 3에 대한 조기 접근 권한이 전혀 없었음에도 불구하고, 당신의 에이전트 스웜은 공식적인 출시 당일 지원을 받은 SGLang-Omni 프레임워크를 능가하는 런타임을 60분 만에 구축했다고 합니다. 새로운 모델 아키텍처를 사람이 직접 이식(porting)하는 일은 공식적으로 사라진 직업인가요?
A1) 네, 그렇게 생각합니다. Drama 3의 경우, 조기 접근 권한이 없었음에도 INT21의 자기 개선형 에이전트 스웜은 1시간 만에 작동 가능한 Rust 런타임을 구축했습니다. 이는 검증 루프가 폐쇄되어 있었기 때문에 SGLang-Omni 프레임워크를 압도할 수 있었습니다.
표적이 매우 명확하게 정의된 상황에서, 이 스웜은 인간 전문가보다 AI 모델을 더 잘 이해하는 기준선을 통과했습니다. 과거에는 새로운 아키텍처가 효율적으로 작동하기 위해 몇 주에 걸친 수동 이식 작업이 필요했지만, 이제 그런 일은 더 이상 없습니다. 반복적인 이식 및 튜닝 작업은 이제 에이전트 스웜의 영역이 되었습니다.
Q2) Drama 3는 표준 런타임에게 세 가지 주요 변수를 던졌습니다: FP8 혼합 전문가(MoE), 코드북 멀티 토큰 예측, 그리고 선형 어텐션입니다. 그 짧은 1시간 동안 에이전트 스웜이 가장 어려움을 겪었던 복잡한 메커니즘은 무엇이었으며, 인간이라면 생각하지 못했을 최적화 트릭을 에이전트가 고안해냈나요?
A2) 세 가지 메커니즘 중 어느 것도 에이전트 스웜을 멈추게 하지 못했습니다. 이는 주로 다른 카테고리 모델들의 기존 구성 요소들의 조합이기 때문입니다. INT21의 에이전트 스웜은 이러한 요소들에 대한 기존 지식을 이미 구축하고 있으며, 그 성능을 지속적으로 개선하고 있습니다. 실제로 우리의 에이전트 스웜은 Fish Audio의 이전 음성 모델인 S2 Pro를 포함해 7가지 모델 유형에 걸쳐 20개 이상의 추론 엔진을 구축했습니다.
이것이 바로 복리 효과(compounding effect)입니다. 어떤 모델도 재학습되지 않지만, 에이전트 스웜은 무엇이 작동했고 무엇이 실패했는지에 대한 연산 지식을 축적하며, 매번 새로운 엔진이 이전 엔진보다 더 빠르게 구축됩니다. 전반적으로 스웜은 인간 전문가보다 더 공격적이며, 엔지니어들이 거의 시간을 할애하지 않는 수준의 세부 사항까지 스택 하부까지 깊이 탐색합니다.
Q3) 귀하의 배포는 서빙 경로에서 Python을 전혀 사용하지 않는 컴파일된 메모리 안전 Rust 런타임을 사용하는 점을 특히 강조합니다. 현대 AI 추론에서 Python이 지닌 진정한 '비용'은 무엇이며, 업계의 나머지 부분은 이를 여전히 인정하기를 거부하고 있나요?
A3) Python은 인간에게 친화적인 동적 언어이지만, 더 많은 CPU 시간을 소모하며 서비스 품질을 불안정하게 만듭니다. 더 큰 비용은 Python을 둘러싸고 구축되는 것들입니다: CPU 오버헤드를 숨기기 위한 복잡한 스케줄링과, Rust에서는 문제가 되지 않는 Python을 수용하기 위한 멀티 프로세스 간 통신(IPC) 등이 있습니다. 현대 추론 스택의 상당 부분은 Python의 단점을 보완하기 위해 존재합니다. 전반적으로 시스템의 복잡성은 훨씬 낮아지고 신뢰성은 높아집니다.
Q4) SGLang-Omni의 38밀리초와 비교해 15~24밀리초의 초기 오디오 도달 시간(TTFA)을 달성했습니다. 일반인에게 20밀리초는 거의 무색무취하게 느껴질 수 있습니다. 심리학적 관점에서 볼 때, 이러한 구체적인 시간 단축은 미래의 AI 음성 에이전트에 어떤 가능성을 열어줍니까?
단독으로 보면 20밀리초는 눈에 띄지 않을 수 있습니다. 하지만 이는 음성 에이전트의 응답 시간이 사용자를 듣는 시간, 생각하는 시간, 다시 말하는 시간을 합한 것임을 고려할 때 중요합니다.
더 큰 변화는 아키텍처 측면에서 일어날 것입니다. 미래의 음성 에이전트는 듣기, 추론, 말하기를 위해 별개로 연결된 모델들이 아니라, 잠재 공간(latent-space) 추론을 통해 입력과 출력을 지속적으로 스트리밍하는 오미 모델(omni models)이어야 합니다. 하나의 모델이 모든 작업을 수행할 때, 사용자와 답변 사이의 장벽은 런타임이 되며, 이는 하드웨어 한계에 최대한 근접해야 합니다.
Q5) 귀사의 게시글에서는 AI 에이전트가 AI 모델을 실행하기 위한 소프트웨어를 작성하는 것이 ‘초지능으로 가는 진보의 모습’이라고 명시했습니다. SwarmOS가 구축하는 엔진마다 더 빨라진다면, AI가 실행되는 동안 실시간으로 자신의 추론 엔진을 최적화하는 ‘자신을 먹는 뱀’ 시나리오에 얼마나 가까워졌다고 보십니까?
초고속 추론을 위해 대부분의 모델은 하드웨어 한계에 근접하고 있으므로, 특정 모델과 칩에서의 성능 향상은 점차 둔화될 것입니다. 그러나 계속 복리처럼 쌓이는 것은 새로운 하드웨어에서 새로운 모델을 구동하는 데 걸리는 시간입니다. 에이전트 스웜이 구축하는 각 엔진은 다음 엔진을 구축하는 데 걸리는 시간을 단축시킵니다. Drama 3는 단 1시간 만에 구축되었으므로, 곧 새로운 하드웨어에서 새로운 모델을 한 번의 시도로 구축할 수 있게 될 것입니다.
INT21에서 우리의 에이전트 스웜은 모델을 실행하는 인프라를 개선하고, 그 과정에서 자신들도 개선합니다. 컴퓨팅 자원을 컴퓨팅 성능 향상에 사용하는 것은 기존 벤치마크를 뛰어넘는 결과를 낳는 더 빠르고 효율적인 경로입니다.
Q6) 이 벤치마크를 두 대의 NVIDIA B200에서 실행하여 오디오 초당 GPU 시간을 37~39% 줄였음을 입증했습니다. 추론이 확장됨에 따라 기업들은 실제로 소프트웨어 런타임을 수정해야 할 때 더 많은 B200을 구매하는 데 과도하게 지출하고 있습니까?
현재 GPU 소프트웨어는 기대되는 품질 수준 훨씬 아래에서 작동합니다. Drama 3에서 동일한 두 대의 NVIDIA B200은 단일 스트림 벤치마크에서 59~63% 더 많은 오디오를 생성했습니다. 이는 하드웨어가 이미 보유하고 있던 용량으로부터 오디오 초당 GPU 시간이 37~39% 줄어든 것입니다.
더 많은 B200을 구매하고 런타임을 수정하는 것은 서로 다른 차원의 문제입니다: 하드웨어는 미래 수요에 대한 투자이며, 소프트웨어는 각 GPU의 얼마나 많은 부분이 사용되는지를 결정합니다. 과거에는 팀들이 용량을 구매하고 그 주변을 수동으로 소프트웨어를 튜닝했습니다. 이제 에이전트 스웜은 새로운 모델과 하드웨어가 출시되는 속도와 맞먹도록 소프트웨어를 지속적으로 개선하고 있습니다.
더 많은 뉴스 커버리지를 피드에서 받아보시려면 Wccftech를 Google에서 팔로우하세요.
📄 원문 (English)
INT21, a self-improving infrastructure startup that 'uses compute to improve compute,' has just refocused the proverbial spotlight on the software and away from the increasingly scarce NVIDIA GPUs, managing to dramatically speed up Fish Audio's Drama 3 model by engineering customized inference runtimes in the Rust coding language via a swarm of AI agents that constructed a viable inference engine in just around an hour.
INT21's unique methodology: AI swarms, Rust coding language instead of Python, and a looped workflow
INT21’s core methodology, one that pivots around 'Self-Improving Infrastructure,' flips the traditional software engineering paradigm on its head. Instead of human engineers painstakingly writing the code to run AI models, INT21 uses AI agent swarms to write, test, and optimize that code autonomously.
SwarmOS, a cloud-native platform that orchestrates thousands of AI agents simultaneously, is INT21's secret sauce in this endeavor. These agents operate inside the Inference Engine Factory, a system dedicated strictly to building inference runtimes - the underlying software engine that executes an AI model after it has already been trained, turning user inputs into outputs. These inference engines load model weights into the hardware (GPU, TPU, CPU) and execute the mathematical forward pass to generate tokens, optimizing how fast and efficiently you can run the neural network to produce a faster output.
Coming back, instead of guessing the right software architecture, INT21's swarm of AI agents operates on a continuous, three-step loop:
- Variation: The agent swarm generates multiple candidate implementations of the code at the same time.
- Evaluation: These code variations are immediately tested on actual hardware (like NVIDIA B200 GPUs) against the best existing baseline to see which runs faster.
- Selective Retention: The system automatically keeps the code that works, discards the code that fails, and runs the loop again to squeeze out more performance.
Do note that INT21 does not build or retrain AI models from scratch. Instead, by leveraging over 20 inference engines across 7 different model types, the swarm of AI agents remembers what optimization tricks work for specific architectures - for instance, FP8 mixture-of-experts or linear attention. Every inference engine that INT21 builds then serves as the starting baseline for the next one, drastically reducing the time it takes to deploy newer iterations.
A major part of INT21's performance methodology centers on removing Python from the deployment path. Do note that Python is widely considered user-friendly but slow, requiring complex workarounds like Inter-Process Communication (IPC) - a method used to pass data between different programs to hide Python's CPU delays. INT21's swarm of AI agents writes its runtimes in Rust, a compiled, memory-safe language that interacts closer to the hardware limit, eliminating the need for these clunky workarounds.
Basically, under INT21's workflow, humans don't write the code. Instead, engineers simply define the constraints, the target hardware, and the acceptance criteria. They point the swarm at the target, and the agents execute the loop until the performance metrics are met.
Coming to Fish Audio's Drama 3 model, INT21 was able to use its swarm of AI agents to design a custom inference engine in around sixty minutes:
- Starting point: Fish Audio’s public release, with no early access. The baseline was SGLang-Omni - a high-performance serving framework designed specifically for speech, audio, and text-to-speech (TTS) models - which had day-zero support.
- Output: A compiled Rust runtime with no Python in the serving path, working one hour after model access.
- Setup: Both runtimes ran on 2× NVIDIA B200 GPUs, with one GPU for generation and one for the codec. Each test used one speech stream, a 1-frame first chunk, and 20 warm trials per prompt across three prompts.
- Results: Time to first audio was 15.11 to 23.58 ms versus 37.79 to 38.61 ms under SGLang-Omni. Throughput was 1.59 to 1.63× higher, with a lower real-time factor on every prompt.
Interview Q&A
Now that you have an idea as to what INT21 actually did with Fish Audio's Drama 3 model, let's jump to our Q&A session with Bing Xu, the CEO and Founder of INT21.
Q1) You say you had absolutely no early access to Drama 3, yet your agent swarm built a runtime in 60 minutes that outperformed SGLang-Omni - a framework that had day-zero official support. Is hand-porting new model architectures officially a dead profession?
Yes, I think so. On Drama 3, with no early access, INT21's self-improving agent swarms had a working Rust runtime in one hour. It beat the SGLang-Omni framework, because the verification loop is closed.
On a target this well defined, the swarm passed the bar to understand AI models better than human experts. In the past, new architectures have taken weeks of hand-porting before they run efficiently, but this is no longer the case. The repetitive porting and tuning now belongs to agent swarms.
Q2) Drama 3 threw three major curveballs at standard runtimes: FP8 mixture-of-experts, codebook multi-token prediction, and linear attention. Which of these complex mechanisms did your Swarm struggle with the most during that single hour, and did the agents invent any optimization tricks a human wouldn't have thought of?
None of the 3 mechanisms stalled the agent swarms, mainly because it is a combination of existing components in other category models. INT21's agent swarms have already built preexisting knowledge around these, and continue to improve upon that performance. In fact, our agent swarms have built over 20 inference engines across 7 model types, including Fish Audio's previous speech model, S2 Pro.
That is the compounding effect. No model is retrained, but the agent swarms accumulate operations knowledge about what worked and what failed, and every engine makes the next one faster. Overall, the swarm is more aggressive than human experts, and explores further down the stack, at a level of detail that engineers rarely spend time on.
Q3) Your deployment specifically highlights using a compiled, memory-safe Rust runtime with zero Python in the serving path. What is the true 'cost' of Python in modern AI inference that the rest of the industry is still refusing to admit?
Python is a dynamic language friendly to humans, which burns more CPU time, and makes service quality unstable. The bigger cost is what gets built around it: complex scheduling to hide the CPU overhead, and multi-process inter-process communication (IPC) to accommodate Python, which is not a problem in Rust. A large share of a modern inference stack exists to compensate for Python. Overall, the complexity of the system is much lower, and more reliable.
Q4) You achieved a Time to First Audio (TTFA) of 15 to 24 milliseconds, compared to SGLang-Omni’s 38 milliseconds. To a layman, 20 milliseconds sounds invisible. Psychologically, what does that specific time reduction unlock for the future of AI voice agents?
On its own, 20 milliseconds seems invisible. But it matters because a voice agent's response time is the sum of several delays: hearing the user, thinking, and speaking back.
The bigger shift will be architectural. Future voice agents must be omni models with latent-space reasoning that stream input and output continuously, instead of separate models stitched together for listening, reasoning, and speaking. When one model does all of it, the runtime is what stands between the user and the answer, and it has to run closer to the hardware limit.
Q5) Your post states that AI agents writing the software to run AI models is 'what progress toward superintelligence looks like.' Since your SwarmOS gets faster with every engine it builds, how far are we from a self-eating snake scenario where the AI is optimizing its own inference engine in real-time as it runs?
For ultra-fast inference, most models are approaching the hardware limit, so gains on a given model and chip will flatten. What keeps compounding is the time to bring up a new model on new hardware. Each engine the agent swarms build shortens the time it takes to build the next one. Drama 3 took just one hour, so a new model on new hardware may soon be one shot.
At INT21, our agent swarms improve the infrastructure that runs models, and improve themselves in the process. Using compute to improve compute is a faster, more efficient path, producing results that surpass existing benchmarks.
Q6) You ran this benchmark on twin NVIDIA B200s, proving a 37–39% reduction in GPU time per second of audio. As inference scales, are companies overspending on buying more B200s when they should actually be fixing their software runtimes?
GPU software today runs well below the quality it should. On Drama 3, the same two NVIDIA B200s generated 59-63% more audio in our single-stream benchmarks. That is 37-39% less GPU time per second of speech, from capacity the hardware already had.
Buying more B200s and fixing runtimes are orthogonal: hardware is an investment in future demand, while software determines how much of each GPU is used. In the past, teams bought capacity and hand-tuned the software around it. Now, agent swarms keep improving the software as fast as new models and hardware ships.
Follow Wccftech on Google to get more of our news coverage in your feeds.
▶ 칩 라이브 24 홈으로 — chiplive24.com