TESLA LIVE 24.com · 24시간 반도체·SOXL 시세·속보 한국어 실시간

변호사의 엔비디아 V100 AI 서버, 딥시크 로컬 실행 및 1TB RAM·근접 NVFP4 정밀도 업그레이드

Wccftech · 2026.11.16 21:48 · 원문 사이트
🇰🇷 한글 번역
변호사 한 명이 2018년형 NVIDIA Tesla V100 GPU 8개를 활용해 unusually 강력한 개인용 AI 서버를 구축했으며, 이는 DeepSeek V4.1-Flash를 로컬에서 실행하기 위해 결합된 HBM2 메모리 256GB를 제공한다. 이 시스템은 처음에 코드 생성 시 초당 215토큰이라는 인상적인 성능을 달성했지만, 제작자는 이후 시스템에 훨씬 더 많은 RAM, 개선된 양자화(quantization), 그리고 추가 하드웨어를 업그레이드했다. 이 프로젝트는 PLI Labs의 창립자이자 시니어 변호사인 닉 머미게스(Nick Mermiges)의 것으로, 그는 레딧(Reddit)에서 맞춤형 시스템에 대해 상세히 설명한 후 11월 12일 후속 업데이트를 게시했다. 그의 주요 동기는 기밀 법률 문서를 클라우드 기반 AI 서비스에 전송하는 대신 로컬 하드웨어에 보관하는 것이다. 이 시스템은 사건 파일을 처리하고 관련 정보를 추출하며, 문서를 요약하고 초안을 생성하지만, 최종 검토는 반드시 인간이 수행해야 한다. 로컬 AI 추론을 위해 8개의 NVIDIA V100 GPU가 256GB의 HBM2를 제공 NVIDIA V100 AI 서버는 두 개의 4-GPU 베이스보드에 분산된 8개의 Tesla V100 SXM2 32GB 가속기로 구성되며, 각 베이스보드 내부는 NVLink를 통해 내부적으로 연결되어 있다. 베이스보드 간 통신은 PCIe 3.0을 통해 이루어지며, 4개의 PEX 스위치와 SlimSAS 케이블이 연결성을 처리한다. 각 V100은 900GB/s의 HBM2 메모리 대역폭을 제공한다. 호스트 시스템은 AMD Threadripper PRO 3945WX 프로세서를 사용하며, 초기 구성에는 256GB의 DDR4 ECC 메모리가 포함되었다. 머미게스는 각 4-GPU 조립체를 구매할 당시 약 2,400달러가 들었다고 추정하며, 호스트, 전원 공급 장치 및 기타 구성 요소를 제외한 가속기 조립체의 총 비용은 약 4,800달러에 달한다고 밝혔다. 이는 현재 시장 가격이 아닌 과거 구매 가격이다. 맞춤형 최적화와 2단계 파이프라인 병렬 처리를 통해 초기 시스템은 다음과 같은 결과를 달성했다. 대부분 2비트 양자화된 모델은 약 248.8GB를 차지하지만, 모든 데이터가 GPU 메모리에 저장되는 것은 아니다. 모든 라우팅된 전문가(experts)는 VRAM에 남아 있는 반면, 약 110GB의 Engram 조회 테이블은 시스템 RAM에 저장된다. 새로운 업그레이드는 성능을 희생하면서 AI 출력의 충실도를 향상시킴 최신 버전인 'Volta Max uPLIft'는 자주 사용되는 전문가들을 NVIDIA의 NVFP4 정밀도로 업그레이드하는 반면, 나머지 전문가들은 2비트 표현을 유지한다. 결과적으로 제작자의 단일 요청 테스트에서 전문가 활성화의 약 80~86%가 이제 NVFP4 정밀도를 사용한다. NVIDIA의 참조 모델과의 다음 토큰 일치율은 92.2%에서 95.1%로 증가했지만, 이는 정확도의 직접적인 측정보다는 향상된 출력 충실도를 나타낸다. 대가로 생성 성능은 낮아져 코드 출력은 초당 약 150~180토큰에 도달한다. 그러나 두 개의 동시 요청은 결합된 처리량에서 초당 159토큰을 제공한다. 머미게스는 또한 시스템 RAM을 1TB로 확장하고 추론 초안 작성을 위해 사용할 RTX 3090을 설치했다. 이 프로젝트는 문제 없이 진행된 것은 아니었다. 타버린 전원 커넥터, ECC 메모리 오류, 그리고 결국 결함이 있는 전원 공급과 관련이 있을 것으로 의심되는 크래시가 발생했다. 또한 NVIDIA의 R580 드라이버 브랜치는 볼타(Volta) 아키텍처를 지원하는 마지막 버전이다. 그럼에도 불구하고 머미게스는 자신의 개인 설정이 이전 LLM 워크플로우의 약 50~60%를 대체할 수 있다고 추정하며, 광범위한 소프트웨어 최적화와 결합될 때 구형 엔터프라이즈 GPU가 까다로운 AI 애플리케이션에 여전히 유용할 수 있음을 보여준다. 이 프로젝트의 초기 및 업데이트된 구현체는 벤치마크 및 구성과 함께 GitHub에서 공개적으로 이용 가능합니다. 뉴스 출처: Reddit / PLI Labs (GitHub) 더 많은 뉴스 커버리지를 피드에서 받아보시려면 Google에서 Wccftech를 팔로우하세요.
📄 원문 (English)
A lawyer has assembled an unusually powerful private AI server using eight NVIDIA Tesla V100 GPUs from 2018, providing 256 GB of combined HBM2 memory to run DeepSeek V4.1-Flash locally. The setup originally achieved an impressive 215 tokens per second in code generation, but its creator has since upgraded the system with considerably more RAM, improved quantization, and additional hardware. The project belongs to Nick Mermiges, a trial lawyer and founder of PLI Labs, who detailed his custom-built system on Reddit, before publishing a follow-up update on November 12. His primary motivation is keeping confidential legal documents on local hardware rather than sending them to cloud-based AI services. The system processes case files, extracts relevant information, summarizes documents, and generates preliminary drafts, with human review remaining mandatory. Eight NVIDIA V100 GPUs Deliver 256 GB Of HBM2 For Local AI Inference The NVIDIA V100 AI server consists of eight Tesla V100 SXM2 32 GB accelerators distributed across two four-GPU baseboards, each internally interconnected through NVLink. Communication between the boards relies on PCIe 3.0, with four PEX switches and SlimSAS cables handling connectivity. Each V100 offers 900 GB/s of HBM2 memory bandwidth. The host system uses an AMD Threadripper PRO 3945WX processor, while the original configuration included 256 GB of DDR4 ECC memory. Mermiges estimates that each four-GPU assembly cost approximately $2,400 when purchased, bringing the combined accelerator assemblies to roughly $4,800, excluding the host, power supplies, and other components. These are historical purchase prices rather than current market quotations. Through custom optimizations and a two-stage pipeline-parallel arrangement, the original system managed the following results: The mostly 2-bit quantized model occupies approximately 248.8 GB, although not everything resides in GPU memory. All routed experts remain in VRAM, while approximately 110 GB of Engram lookup tables reside in system RAM. New Upgrade Improves AI Output Fidelity At The Expense Of Performance The latest iteration, named Volta Max uPLIft, upgrades frequently used experts to NVIDIA's NVFP4 precision while retaining 2-bit representations for the remaining experts. Consequently, approximately 80–86% of expert activations in the builder's single-request tests now use NVFP4 precision. Next-token agreement with NVIDIA's reference model increased from 92.2% to 95.1%, although this represents improved output fidelity rather than a direct measurement of accuracy. The trade-off is lower generation performance, with code output now reaching approximately 150–180 tokens per second. However, two concurrent requests deliver 159 tokens per second in combined throughput. Mermiges has also expanded system RAM to 1 TB and installed an RTX 3090, which he intends to use for speculative drafting. The project has not been without problems, including a burned power connector, ECC memory errors, and crashes eventually suspected to involve faulty power delivery. Additionally, NVIDIA's R580 driver branch is the last to support Volta. Nevertheless, Mermiges estimates that his private setup can replace approximately 50–60% of his previous LLM workflows, demonstrating how older enterprise GPUs can remain useful for demanding AI applications when paired with extensive software optimization. The project's original and updated implementations, including benchmarks and configurations, are publicly available on GitHub. News Source: Reddit / PLI Labs (GitHub) Follow Wccftech on Google to get more of our news coverage in your feeds.
▶ 칩 라이브 24 홈으로 — chiplive24.com

다른 반도체 뉴스

3 AI Chip Stocks Retail Investors Are Watching After The Nvidia Selloff · Yahoo FinanceSK hynix Sinks 21% in a Week With Micron and Sandisk. Its U.S. Premium Is an “Extra Special Case” · Yahoo FinanceThis week on Tom's Hardware Premium: 21 November 2026 — AMD, Nvidia and more show off the future of high-performance computing at SC26 · Tom's HardwareThis week on Tom's Hardware Premium: 21 November 2026 — AMD, Nvidia and more show off the future of high-performance computing at SC26 · Tom's HardwareAfter Plummeting 62% This Year, Could Buying Intel Stock Today Set You Up for Life? · Yahoo FinancePrediction: Nvidia Stock Will Be Worth This Much in 1 Year · Yahoo FinanceApplied Materials vs. Nvidia: Which Tech Stock Is a Better Buy for 2027? · Yahoo FinanceTrump Calls Huang’s Exit “Such a Tragedy” as His Filing Shows Up to $380,000 of Nvidia Buys · Yahoo Finance