TESLA LIVE 24.com · 24시간 반도체·SOXL 시세·속보 한국어 실시간

Lawyer’s $9,450 private AI server of 12 used Nvidia V100s now runs every DeepSeek V4.1 Flash expert at 4-bit NVFP4

Tom's Hardware · 2026.11.20 21:30 · 원문 사이트
🇰🇷 한글 번역
변호사의 12개 중고 Nvidia V100 GPU를 탑재한 9,450달러 상당의 개인용 AI 서버가 이제 4비트 NVFP4 정밀도로 DeepSeek V4.1 Flash의 모든 전문가(Expert) 모델을 실행하며, 코드 생성 시 초당 최대 184개의 토큰을 처리하고 긴 문서의 응답 시작 시간이 이전보다 약 절반으로 단축되었다. 그는 이 서버가 세 대의 DGX Spark 스택 가격의 절반 수준인 비용으로, 공개된 DGX Spark 스택보다 단일 요청의 디코딩 속도가 더 빠르다고 주장한다. 한 변호사가 자신의 개인용 AI 서버를 8개에서 12개의 중고 Nvidia V100 GPU로 업그레이드하며 경쟁력을 한층 높였다. 이 구성은 4비트 NVFP4 정밀도로 DeepSeek V4.1 Flash의 모든 전문가 모델을 실행할 수 있으며, 코드 작업 시 초당 최대 184개의 토큰 처리 성능을 발휘하고 긴 문서에 대한 응답 시작 시간이 이전 대비 약 절반으로 줄어든다. 그는 자신이 지불한 9,450달러를 기준으로, 세 대의 DGX Spark 스택 가격의 절반 수준으로 공개된 DGX Spark 스택보다 단일 요청 디코딩 속도를 앞선다고 말한다. 가장 뛰어난 영화 시리즈는 종종 세 편으로 구성되지만, 닉 머미게스(Nick Mermiges)는 이를 능가하려는 듯 자신의 기존 설정을 더 높은 정밀도로 확장하고 있다. 그는 이전에 메모리 추가 및 기타 수정 사항을 통해 업그레이드했던 장비를, 이전 업그레이드로 대부분을 달성한 후 이제 완전한 정밀도를 위해 확장했다. 이번 최신 업그레이드는 V100 보드를 세 번째로 추가하여 보드당 4개씩 총 12개의 GPU를 구성하는 것이다. 그의 행보에는 분명 어떤 논리가 있다. 기존의 8개 32GB 카드들은 254 GiB의 용량을 관리할 수 있었지만, 선택한 모델의 전문가들은 Nvidia의 NVFP4 릴리스 기준 278.9 GiB가 필요하다. 그의 이전 우회 방법은 모든 전문가를 2비트 정밀도로 설정하고, 가장 자주 사용되는 5,949개(약 38.7%)의 전문가만 NVFP4로 전환하여 카드가 가득 찰 때까지 사용하는 것이었다. 이제 그는 의도했던 대로 15,360개의 모든 전문가를 "더 이상 압축하지 않고" 카드 전체에 배치할 수 있게 되었다고 그의 GitHub 저장소에서 밝혔다. 그의 웹사이트에 게재된 긴 글에서는 전문가 값들이 "DeepSeek 자체 릴리스의 값들과 동일하다"고 언급했지만, 모델의 다른 부분들은 여전히 압축된 형태를 사용한다. 주목할 점은 V100의 한계인데, 그는 이를 명확히 설명한다. V100에는 FP4 또는 FP8 텐서 코어가 없다. 모든 NVFP4 데이터는 먼저 소프트웨어에서 반정밀도(Half Precision)로 풀려야 한다. 압축된 전문가 모델이 여전히 유리한 이유는 "카드가 더 빠르게 계산해서가 아니라, 더 적은 바이트를 읽기 때문"이다. 이는 2018년식 카드가 블랙웰(Blackwell) 시대의 포맷을 실행할 수 있는 이유를 설명해 준다. 모델의 레이어는 다시 보드 간에 분할되는데, 이번에는 0–13, 14–27, 28–39로 나뉘며, 각 보드의 섹션은 해당 보드의 네 개 카드 간에 분할된다. 한 보드의 카드들은 Nvidia의 고속 링크인 NVLink를 공유하며, 보드 간 데이터 전달은 호스트의 PCIe를 통해 두 개의 별도 PCIe 스위치를 거쳐 이루어진다. 첫 번째와 두 번째 보드는 PEX88096 스위치를 공유하므로 데이터 전달이 스위치 내부에서 이루어지지만, 세 번째 보드는 별도의 PLX 8749 스위치 뒤에 위치하므로 두 번째 데이터 전달도 호스트의 PCIe 브리지를 통과해야 하여 지연 시간이 추가된다. 하지만 이러한 복잡함은 충분한 가치가 있다. 각 카드의 전력 한계를 150W에서 175W로 높이고 클럭 한계를 1,522MHz에서 1,452MHz로 낮추는 등 다른 설정을 적용함으로써 성능과 정밀도 모두에서 눈에 띄는 개선이 이루어졌다. 그의 측정 결과에 따르면, 256K 컨텍스트에서 첫 번째 코드 토큰 생성 시간은 108.4초였던 이전 업그레이드 대비 거의 두 배 빠른 58초였다. 프롬프트 읽기 속도는 32K 이후 "초당 약 4,500개 토큰"으로, 첫 번째 빌드의 초당 약 2,200개 토큰보다 두 배 이상 빠르지만, 이는 높은 전력 한계 덕분인 부분도 있다. 한편 코드 디코딩 속도는 1K 기준 23% 빨라졌지만, 32K 이상에서는 실제 향상분이 나타나지 않아, 진정한 이점은 첫 번째 토큰까지의 대기 시간 감소에 있음을 시사한다. Tom’s Hardware의 최고의 뉴스와 심층 리뷰를 이메일로 직접 받아보세요. 시스템의 성능을 더 끌어내기 위해 각 카드를 하루 동안 200W로 부스트하려는 시도가 있었지만, “네 번의 긴 채팅을 동시에 처리하는 동안 호스트가 한 번 오류를 일으켰다”는 점에서 전력 소모가 아마도 너무 많았음을 시사합니다. 그는 또한 가능한 한 많이 설정을 최적화하려고 노력했지만, 디스크에 저장되는 대화 저장소, 섹션 간 더 가벼운 전환, 더 밀집된 전문가 패킹, 정확한 4개 카드 합산 산술이라는 네 가지 최적화 항목은 목표치를 달성하지 못해 비활성화해야 했습니다. 또 다른 일반적인 기법은 여러 요청을 동시에 실행하는 것으로, 보통 속도 향상을 가져옵니다. 이 경우 128K 크기의 세 가지 요청은 코드 분야에서 총 초당 약 360개의 토큰, 법률 분야에서 초당 213개의 토큰을 처리했습니다. 다만, “이는 배치 디코딩 엔진이 아니며, 섹션 수보다 많은 요청을 보내도 거의 이득이 없습니다.”라고 그는 밝혔습니다. 하지만 이것이 다음 단계가 될 수 있습니다. 그는 레딧에 “스파크들이 가지고 있는 것 중 제가 원하는 유일한 것”인 배치 디코딩을 연구할 계획이라고 썼습니다. 그 외에도, 사건 관련 문서가 재시작 후에도 유지될 수 있도록 대화 저장소를 활성화할 계획입니다. 그는 이 수치가 “실제 사용에서의 답변 품질”을 입증하지는 못한다고 인정하지만, 이번 주 월요일 이후 이 설정을 그의 기본 DeepSeek 머신으로 사용해 왔으며, 이 모델은 그에게 “Opus 4.6이 그랬던 것처럼 작동하는” 첫 번째 모델이라고 말합니다. 최신 뉴스, 분석 및 리뷰를 피드에서 받아보시려면 Tom’s Hardware을 구글 뉴스에서 팔로우하거나, 우리를 선호하는 소스로 추가하세요. Shane Downing은 소비자 스토리지, PC 하드웨어 및 AI를 다루는 Tom’s Hardware의 기고 작가입니다.
📄 원문 (English)
Lawyer’s $9,450 private AI server of 12 used Nvidia V100s now runs every DeepSeek V4.1 Flash expert at 4-bit NVFP4 — up to 184 tokens per second on code, and long documents start answering in about half the time He says it decodes one request faster than published DGX Spark stacks, at half the price of three. A lawyer has upped the ante by upgrading his private AI server from eight to 12 used Nvidia V100s, which can run every DeepSeek V4.1 Flash expert at 4-bit NVFP4. Performance can reach up to 184 tokens per second for code, and long documents start answering in about half the time as before. He says it can outrun published DGX Spark stacks at decoding a single request, for half the price of three units, based on the $9,450 he paid. Some of the best movie franchises come in threes, and Nick Mermiges seems determined to match that, taking his original setup — which he previously upgraded with more memory and other fixes — and expanding it for fuller precision, after a previous upgrade got him most of the way there. The newest upgrade, this time, involves a third board of V100s, for a total of 12 with four per board. There may be a method to his madness. The original eight 32GB cards could manage 254 GiB, but the experts for the chosen model, with Nvidia’s NVFP4 release, need 278.9 GiB. His previous workaround was to have every expert on the cards at 2-bit precision, with the most-used, 5,949 or about 38.7%, swapped to NVFP4 until the cards were full. Now, all 15,360 experts can live on the cards in their full glory, as he intended, with “none compressed further,” according to his GitHub repo. In a longer write-up on his site, he says the expert values “equal the ones in DeepSeek’s own release,” although other parts of the model use compact forms. A keen observer will notice a limitation of the V100s, which he spells out: the V100 has no FP4 or FP8 tensor cores. Every NVFP4 number has to be unpacked in software, first, and into half precision. The compact experts still pay off “because the cards read fewer bytes, not because they compute faster.” This helps explain why a card from 2018 can run a format from the Blackwell era. The model’s layers are, again, divided among the boards, this time with 0–13, 14–27, and 28–39, and each board’s section is split across its own four cards. The cards on a board share Nvidia’s fast link, or NVLink, and the hand-offs between boards cross over the host’s PCIe through two separate PCIe switches. The first two boards share a PEX88096 switch, so their hand-off stays inside it, but the third board is behind a separate PLX 8749, so the second hand-off also has to cross the host’s PCIe bridges, which adds latency. All this trouble is worth it, though, as with different settings — each card’s power cap raised from 150 W to 175 W and its clock cap lowered from 1,522 MHz to 1,452 MHz — there are noticeable improvements to performance as well as precision. His measurements show the first code token, with 256K context, at 58 seconds, almost twice as fast as the 108.4 seconds after his previous upgrade. Prompt reading is at “about 4,500 tokens a second” past 32K, which is more than twice the roughly 2,200 tokens a second of his first build, though the higher power cap likely accounts for some of that. Code decode, meanwhile, is 23% faster at 1K, but shows no real gains at 32K and up, so the real gain is a reduced wait for the first token. Get Tom's Hardware's best news and in-depth reviews, straight to your inbox. There was some eagerness to get more out of the system by pushing each card to 200 W for a day, but “the host tripped once under four long chats at once,” implying the power draw was perhaps too much. He also worked to optimize the setup as much as possible, but four optimizations — a conversation store that saves to disk, a leaner hand-off between sections, tighter expert packing, and exact four-card-sum arithmetic — had to be turned off due to missing their targets. Another common technique is to run multiple requests at once, usually netting a speed improvement. In this case, three requests at 128K got about 360 tokens per second in total on code and 213 on legal. That said, “this is not a batched-decode engine; more requests than sections gain little.” However, that might be next on the docket, as he plans to study batched decoding, “the one thing the Sparks have that I want,” he wrote on Reddit. Beyond that, there are plans to turn on the conversation store so a matter’s documents can survive a restart. While he acknowledges that the numbers do not establish “answer quality in use,” the setup has been his default DeepSeek machine since Monday, and he says the model is the first one “that works like Opus 4.6” did for him. Follow Tom’s Hardware on Google News, or add us as a preferred source, to get our latest news, analysis, & reviews in your feeds. Shane Downing is a Contributing Writer for Tom’s Hardware, covering consumer storage, PC hardware, and AI.
▶ 칩 라이브 24 홈으로 — chiplive24.com

다른 반도체 뉴스

3 AI Chip Stocks Retail Investors Are Watching After The Nvidia Selloff · Yahoo FinanceSK hynix Sinks 21% in a Week With Micron and Sandisk. Its U.S. Premium Is an “Extra Special Case” · Yahoo FinanceThis week on Tom's Hardware Premium: 21 November 2026 — AMD, Nvidia and more show off the future of high-performance computing at SC26 · Tom's HardwareThis week on Tom's Hardware Premium: 21 November 2026 — AMD, Nvidia and more show off the future of high-performance computing at SC26 · Tom's HardwareAfter Plummeting 62% This Year, Could Buying Intel Stock Today Set You Up for Life? · Yahoo FinancePrediction: Nvidia Stock Will Be Worth This Much in 1 Year · Yahoo FinanceApplied Materials vs. Nvidia: Which Tech Stock Is a Better Buy for 2027? · Yahoo FinanceTrump Calls Huang’s Exit “Such a Tragedy” as His Filing Shows Up to $380,000 of Nvidia Buys · Yahoo Finance