RTX 3090, 추론 최적화로 27B LLM 실행 시 토큰 생성 속도 최대 4.6배 향상, 구형 GPU의 새로운 가능성 열려
🇰🇷 한글 번역
936.2GB/s의 메모리 대역폭은 NVIDIA RTX 3090이 프롬프트 처리 및 토큰 생성 속력에서 상당한 능력을 갖추게 하지만, 24GB VRAM으로 인해 상황이 다소 제한적인 것은 사실이다. 한 개발자가 GPU에서 실행했을 때 82 tok/s의 속도를 달성했지만, 커스텀 추론 엔진을 출시하고 활용함으로써 그 속도가 382 tok/s로 증가했다. 이는 최적화 덕분에 토큰 생성 속도가 약 5배 향상된 결과다. 여정 전반에서 일부 문제가 발생했으며, 그 세부 사항은 다음과 같다.
이미 생성한 텍스트를 반복하고 있을 때 토큰 생성 속력이 여러 배로 증가한다
왜 AI 텍스트 생성이 느린지 이해하려면 이러한 대규모 언어 모델(LLM)이 어떻게 작동하는지 알아야 한다. 모델은 한 번에 하나의 토큰을 작성하며, 각 토큰은 이전 토큰에 의존한다. RTX 3090은 각 토큰마다 메모리에서 가중치라고 알려진 모델의 방대한 저장 지식 집합을 꺼내야 한다. 이 가져오기 과정이 실제 계산이 아닌 병목 현상이므로, 그래픽 카드의 처리 능력은 많은 시간을 유휴 상태로 보낸다.
이러한 병목 현상을 인지한 레딧 사용자 ‘u/iamMess’는 추측 디코딩(speculative decoding)으로 이 문제를 해결했다. 빠른 ‘드래프터(drafter)’가 여러 개의 upcoming 토큰을 추측하고, 메인 모델이 이를 한 번의 패스로 모두 확인하여 올바른 토큰은 유지하고 나머지는 버린다. 간단히 말해, 단일 단어를 확인하는 대신 전체 문장을 확인하는 것이다. 또한 메인 모델이 최종 결정을 내리므로 출력은 모델이 원래 작성했을 것과 동일하며, 개발자는 수학 벤치마크에서의 정확도가 96.5%로 일정하게 유지되었다고 보고했다.
토큰 생성 속력은 단계적으로 상승했다. 내장 다중 토큰 예측(MTP)을 조정하여 단일 사용자 속력을 약 114 tok/s로 높였다. 이 MTP는 모델이 자신의 다음 몇 토큰을 추측할 수 있게 해준다. 이어 개발자는 ‘DFlash2’라는 두 번째 드래프팅 방법을 추가했는데, 이는 한 번에 일곱 개의 토큰을 제안한다. 또한 ‘룩업(lookup)’ 드래프터가 대화창에 이미 있는 텍스트를 스캔하여 방금 작성된 내용과 일치하는 부분을 찾아, 같은 단어가 계속될 것이라고 추측한다.
‘룩업’ 드래프터는 토큰 생성 속력을 138 tok/s로 끌어올리는 데 도움을 주었다. 개발자는 확인 단계가 DFlash2의 7개 토큰 추측과 동일한 크기를 가져야 한다고 생각했지만, 그렇지 않았다. 룩업 드래프터는 추가 슬롯을 무료로 채울 수 있었으므로, 엔진은 이제 한 단계당 16개의 토큰을 확인한다. 이제 문서를 인용할 때, 이 16개 추측 중 약 15개가 수용되어 25,000개 토큰 문서 작업의 속력이 초당 260개에서 382개로 향상되었다. 일반적인 채팅에서는 동일한 변경으로 초당 약 133 tok/s가 나왔다.
또한 개발자는 이 접근 방식을 사용하여 모델의 작업 메모리를 더 컴팩트한 형식으로 저장함으로써 컨텍스트 윈도우를 138,696 토큰까지 확장했다. 물론 이 모든 것이 주요 트릭은 아니며 몇 가지 단점도 따른다. 더 긴 확인 단계는 요청 슬롯의 절반과 8,000개의 컨텍스트를 소모하므로 선택 사항이다. 컴팩트한 메모리 형식의 경우, 문서 읽기 시작 시 필요한 시간이 두 배로 늘어나므로, 문서를 한 번 로드하고 여러 질문을 하는 경우에 적합하다.
텍스트 반복 작업 외의 상황에서는 이 모드가 일반 MTP의 약 절반 속도로 실행된다. 일상적인 채팅에서는 초당 약 133 tok/s를 기대할 수 있으며, 이는 이전에 달성했던 82 tok/s보다 여전히 확실한 개선이다. 그러나 우리는 이 정보를 독립적으로 검증하지 않았으므로, 현재로서는 약간 의심하며 받아들이는 것이 좋다.
뉴스 출처: 레딧
더 많은 뉴스 커버리지를 피드에서 받아보려면 Wccftech를 Google에서 팔로우하세요.
📄 원문 (English)
A memory bandwidth of 936.2GB/s makes NVIDIA’s RTX 3090 quite capable at prompt processing and token generation speeds, if not for the fact that its 24GB VRAM makes the situation a little limiting. One developer running Qwen3.8-27B on the GPU managed 82 tok/s, but by releasing and utilizing a custom inference engine, that speed increased to 382 tok/s, resulting in a near-5x gain in token generation, all thanks to optimizations. There are still some hiccups encountered throughout the journey, with the details mentioned below.
Token generation speeds increase by multiple times when Qwen3.8-27B is already repeating the text that it already has
To understand why AI text generation is slow, it’s essential to learn how these LLMs work. A model writes one token at a time, and each depends on the one before it. For every token, the RTX 3090 has to pull the model’s huge set of stored knowledge, known as its weights, out of memory. That fetching, not the actual calculation, is the bottleneck, so the graphics card’s processing power spends much of its time idle.
Realizing this bottleneck, Redditor “u/iamMess” tackled this with speculative decoding. A fast “drafter” guesses several upcoming tokens, and the main model checks all of them in a single pass, keeping the correct ones and discarding the rest. In short, instead of checking a single word, the entire sentence is checked. Also, since the main model always has the final say, the output is identical to what it would have written anyway, and the developer reports that accuracy on a math benchmark held steady at 96.5 percent.
Token generation speeds eventually climbed in stages. Tuning Qwen3.8-27 B’s built-in multi-token prediction (MTP), which lets it guess its own next few tokens, lifted single-user speed to about 114 tok/s. The developer then added a second drafting method called “DFlash2,” which proposes seven tokens at a time, along with a “lookup” drafter that scans the text already in the conversation for a match to what was just written and guesses that the same words come next.
The “lookup” drafter helped bring the token generation speeds to 138 tok/s. The developer had assumed the checking step had to be the same size as DFlash2’s 7-token guess, but it didn’t. The lookup drafter could fill the extra slots for free, so the engine now checks 16 tokens per step. When Qwen3.8-27B now quotes a document, about 15 of those 16 guesses are accepted, which pushed speeds on a 25,000-token document task from 260 to 382 tokens per second. In an ordinary chat, the same change gave around 133 tok/s.
Additionally, the developer used this approach to boost the Context Window to 138,696 tokens by storing the model’s working memory in a more compact format. Obviously, all of this isn’t a major trick and comes with a few downsides. The longer checking step uses up half the request slots and 8,000 tokens of context, so it is optional. As for the compact memory format, it doubles the time needed to read in a document at the start, so it suits cases where you load a document once and ask many questions.
Outside text-repeating tasks, this mode runs at about half the speed of plain MTP. For everyday chat, you can expect around 133 tok/s, which is still a solid improvement over the 82 tok/s being obtained previously. However, since we have not independently verified this information, it’s best to treat it with a grain of salt for now.
News Source: Reddit
Follow Wccftech on Google to get more of our news coverage in your feeds.
▶ 칩 라이브 24 홈으로 — chiplive24.com