TESLA LIVE 24.com · 24시간 반도체·SOXL 시세·속보 한국어 실시간

변호사, 중고 엔비디아 V100 GPU 8개 탑재한 사설 AI 서버 구축

Tom's Hardware · 2026.11.09 22:20 · 원문 사이트
🇰🇷 한글 번역
변호사가 사용된 엔비디아 V100 GPU 8개를 활용해 프라이빗 AI 서버를 구축 — 최대 초당 215토큰의 처리 속도로 법률 파일을 오프라인 상태로 유지, 4개 GPU 보드당 약 2,400달러 비용 이 서버 구축자는 자신의 AI 작업의 50%에서 60%가 이제 최첨단 모델을 거치지 않고 두 개의 사무실 회선에서 실행될 수 있다고 추정한다. 한 변호사가 레딧(Reddit)에 게시글을 올려, 사건 파일이 사무실을 벗어나지 않도록 하기 위해 2018년형 엔비디아 테슬라 V100 데이터센터 GPU 8개를 사용해 프라이빗 AI 서버를 구축했다고 밝혔다. 4개 카드 구성의 SXM2 NVLink 보드 2개, PEX 스위치 4개, 그리고 곳곳에 설치된 SlimSAS 케이블로 구성되었으며, 전원 커넥터 하나만 타버린 상태다. 이 구축자는 이제 모든 전문가(Expert)가 GPU 메모리에 적재된 오픈 소스 DeepSeek V4.1 Flash 모델을 초당 최대 215토큰의 속도로 실행하고 있다. 4개 GPU 보드 한 개당 가격은 구축자가 구매 당시 약 2,400달러였다. 32GB의 HBM2 메모리를 탑재하고 초당 900GB 대역폭을 지원하는 8개의 테슬라 V100-SXM2-32GB 카드는 PCIe 슬롯이 아닌 데이터센터 GPU용 미자닌 소켓인 SXM2에 연결되며, 두 개의 베이스보드로 나뉜다. 각 보드 내부에서는 4개의 카드가 모두 NVLink(엔비디아의 GPU 간 직접 연결 기술)로 연결되어 보드당 128GB의 메모리를 구성하지만, 두 보드 간에는 PCIe를 통해서만 통신한다. 각 보드는 SlimSAS 케이블을 통해 호스트에 연결되며, 총 4개의 PEX(PLX) 스위치 카드가 사용된다. 각 스위치는 자체 x16 업링크를 통해 PCIe 3.0 x8 속도로 두 개의 GPU를 처리한다. 제시된 가격들은 이미 과거의 일이 되었다. 현재 이베이(eBay)에는 사용된 V100 SXM2 32GB 카드가 약 900달러에 리스팅되어 있으며, 이는 게시글 당시 약 400달러였던 가격의 두 배 이상이며, 리스팅 동향을 보면 가격이 여전히 오르고 있다. 이 시스템에는 이미 다른 필수 구성 요소들도 갖춰져 있다. 12코어 3945WX CPU와 매칭되는 지포타(Gigabyte) 스레드리퍼 프로(Threadripper Pro) 마더보드, 8개의 32GB DDR4 RDIMM, 하나의 NUMA 노드, 그리고 두 개의 파워 서플라이(총 2,800W)가 별도의 일반 사무실 회선에 연결되어 있다. 이는 사용된 데이터센터 하드웨어를 활용해 한곳에 많은 양의 고속 VRAM을 저렴하게 확보하는 현실적인 사례다. 이 서버는 현재 사건 파일에 대한 1차 작업에 매일 사용되고 있다. 파일 폴더의 기록을 읽고 사실, 날짜, 숫자를 추출하며, 이를 요약하고 일반적인 문서 초안을 작성하는 작업을 수행한다. "모든 것은 실제 검토를 거치지 않고 외부로 나가지 않는다"며, 이는 일반적으로 좋은 인간 개입(Human-in-the-loop) 정책이다. 또한 클라이언트 파일을 클라우드나 최첨단 모델로 보낼 수 없는 경우의 사건에서 프라이버시를 보장하는 데에도 도움이 된다. RAG(검색 증강 생성) 데이터베이스와 도구 호출이 연결되어 있으며, 운영자는 SSH를 통해 디스코드(Discord) 스타일의 인터페이스로 시스템을 조작할 수 있으며, 이 경우 윈도우 PC에서 접속한다. 현재는 한 번에 하나의 요청만 처리한다. DeepSeek V4.1 Flash 모델은 여기에서 대부분 2비트로 압축되었으며, 가중치 총량은 여전히 248.8GB다. 모델의 '전문가(Experts)'들, 즉 각 단어에 대해 대부분의 작업을 수행하는 부분은 GPU 메모리에 완전히 상주하며, 약 110GB의 '엔그램(Engram)' 테이블이라 불리는 조회 테이블은 시스템의 일반 RAM에 남아 있다. RAM에서 데이터를 가져오는 데에는 단계당 약 0.12밀리초가 소요되는데, 구축자는 이것이 속도 수치에 거의 영향을 미치지 않는다고 말한다. 모델 레이어의 첫 번째 절반(0~19)은 첫 번째 SXM2 보드에서 실행되고, 두 번째 절반(20~39)은 두 번째 보드에서 실행된다. 각 보드는 자체 NVLink를 통해 주요 트래픽을 처리하므로, 단계당 한 번의 핸드오프만 두 보드 간의 느린 PCIe 링크를 가로질러야 한다. 이전 게시글에서 구축자는 모든 레이어를 8개 카드 전체에 분할하면 그 PCIe 홉(이동)으로 인해 속도가 '급락한다'는 사실을 발견했다. 이렇게 작은 모델치고는 성능이 놀라울 정도로 좋다. 코드는 가장 빠르게 생성되며, 초당 최대 215개의 토큰 속도를 기록하는데, 이는 DeepSeek에 내장된 작은 드래프트 모델이 5개의 토큰을 미리 예측하기 때문이며, 코드는 예측하기 쉽기 때문이다. 서버의 주된 용도인 법률 문서 작성은 초당 최대 118개의 토큰 속도로 처리된다. Tom's Hardware의 최고의 뉴스와 심층 리뷰를 이메일로 직접 받아보세요. 긴 문서를 처리할 때는 초기화가 더 오래 걸린다: 모델은 초당 약 2,200개의 토큰 속도로 프롬프트를 읽으므로, 128K 토큰의 경우 첫 번째 토큰이 도착하는 데 약 1분이 소요된다. 최대 524K 토큰의 컨텍스트를 수용할 수 있다. 해당 게시글 3일 전, 동일한 모델이 이 카드 4개에서 구동될 때는 초당 36~38개의 토큰 속도만 기록했다. 성능 향상은 두 번째 보드를 추가하면서 발생했으며, 이는 이상적인 상황에서 성능을 두 배로 늘릴 수 있었을 것으로 보인다. 나머지 성능 향상은 빌더가 커스텀 커널과 프리필프(prefill) 작업의功劳로 돌린다. 전체 내역을 표에서 확인할 수 있다. 빌더의 측정치, 11월 5일; 탐욕적 디코딩(greedy decoding), 출력 1,024 토큰, 두 번의 실행 평균. 모든 것을 연결하고 전원을 켜는 것만큼 간단하지 않았다. 호스트는 하나의 GPU 보드에 연결된 링크에서 치명적인 PCIe 오류가 발생해 두 번이나 리셋되었다. 두 경우 모두 더 높은 전력 제한과 무제한 GPU 클럭에서 발생했다. 이 상태에서 카드들은 180W 제한을 넘어 192~232W의 전력을 소모했다. 가장 유력한 추측(비록 '입증되지 않았지만')은 부하 급증 동안 보드가 응답을 멈춘다는 것이다. 빌더가 클럭을 제한하고 화상 자국이 있는 전원 커넥터가 있는 보드를 하나 제거한 후 리셋은 중단되었다. "사람들, 커넥터를 확인하세요." 각 카드는 이제 정격 300W의 절반인 150W로 제한되며, 그래픽 클럭은 1522MHz로 제한된다. 테스트에 따르면 200W 제한은 눈에 띄는 성능 향상을 가져오지 않았다. 시스템 메모리도 정정 불가능한 ECC 오류를 겪었는데, 빌더가 RAM을 DDR4-3200에서 DDR4-2666으로 낮추면서 해결되었다. 마지막 점검 시 한 GPU는 x8 대신 x4로 연결되어 있었으며, 빌더는 이를 다시 장착할 계획이다. 한 댓글러는 자신의 V100에서 동일한 유형의 문제를 불량 케이블에서 찾았다. 이 고생은 보람 있었다. 추산컨대 변호사의 기존 LLM 워크플로우 중 50~60%가 이제 프론티어 모델 대신 이 시스템에서 실행될 수 있기 때문이다. 이 격차를 메우는 데 도움이 되는 것은 두 대의 DGX Spark에서 구동되는 두 번째 DeepSeek 서버로, 두 시스템이 서로 작업을 위임한다. 이 설정은 API 가격과 비교할 때 적어도 비용을 절감하는 것으로 보인다. 빌더는 속도가 실제로 더 빠르지는 않다고 말하지만, 최종 목표인 '자체 완결형'이 되면 고객 데이터를 보호할 수 있을 것이라고 밝혔다. 빌더는 V100 시스템에 240V 회로를 추가할 수도 있다고 덧붙였다. 전력 문제 외에도, 이 시스템은 볼타(Volta)를 마지막으로 지원하는 Nvidia R580 드라이버 브랜치에 의존하고 있어 수명이 다해가고 있다. 현재로선 변호사가 이를 주로 취미로 여긴다고 인정하지만, 미래에는 비즈니스 아이디어가 될 수도 있다. 다음 단계는 테스트 시스템에서 구축하고 검증했지만 아직 서버에서는 적용하지 않은, 두세 개의 요청을 동시에 처리하는 것이다. 최신 뉴스, 분석 및 리뷰를 피드에서 받아보려면 Tom’s Hardware을 Google 뉴스에서 팔로우하거나 선호하는 소스로 추가하세요. Shane Downing은 소비자 스토리지, PC 하드웨어 및 AI를 다루는 Tom’s Hardware의 기고 작가입니다.
📄 원문 (English)
Lawyer builds private AI server with eight used Nvidia V100 GPUs — up to 215 tokens per second to keep legal files offline, costing about $2,400 per four-GPU board The builder estimates 50% to 60% of their AI work can now skip frontier models, running on two office circuits. A lawyer posted on Reddit about their private AI server built from eight used 2018-era Nvidia Tesla V100 data center GPUs so case files never have to leave the office. With two 4-card SXM2 NVLink boards, four PEX switches, and SlimSAS cables everywhere — plus one burnt power connector — the builder now runs the open DeepSeek V4.1 Flash model with every expert in GPU memory, at up to 215 tokens per second. The four-GPU boards cost about $2,400 apiece when the builder bought them. The eight Tesla V100-SXM2-32GB cards, each with 32GB of HBM2 at 900 GB/s, plug into SXM2, Nvidia’s mezzanine socket for data center GPUs, rather than PCIe slots, and are split across two baseboards. Inside each board, all four cards are NVLinked — NVLink is Nvidia’s direct GPU-to-GPU link — for 128GB per board, but the two boards only communicate over PCIe. Each board connects to the host through two PEX (PLX) switch cards over SlimSAS cables, four switches in all, with each switch handling two GPUs at PCIe 3.0 x8 speeds over its own x16 uplink. The given prices are already in the past, though: used V100 SXM2 32GB cards are now listed on eBay for about $900, more than double the roughly $400 apiece from the post, and listings suggest prices are still climbing. The system also already has some other necessary components: a Gigabyte Threadripper Pro motherboard with a 12-core 3945WX CPU to match, 8x 32GB DDR4 RDIMM, one NUMA node, and two PSUs, 2,800 W in total, are on separate regular office circuits. This is a real-world case for used data center hardware as a cheap route to getting lots of fast VRAM together in one place. The server is currently in daily use for first-pass work on case files: it reads a folder of records, pulls out facts, dates, and numbers, summarizes them, and takes a first swing at routine drafting. “Nothing goes out the door without a real review,” which is a good human-in-the-loop policy in general. It also helps ensure privacy for cases where client files can’t be sent to a cloud or frontier model. RAG databases and tool calls are wired in; the operator can drive the system through a Discord-style interface over SSH, in this case from a Windows PC. For now, it handles only one request at a time. DeepSeek V4.1 Flash is compressed to mostly 2 bits here, and its weights still total 248.8GB. The model’s “experts,” the parts that do most of the work for each word, live entirely in GPU memory, while about 110GB of lookup tables, called Engram tables, stay in the system’s regular RAM. Fetching from RAM costs about 0.12 milliseconds per step, which the builder says barely affects the speed numbers. The first half of the model’s layers (0–19) runs on the first SXM2 board and the second half (20–39) on the second. Each board handles its heavy traffic over its own NVLink, so only one hand-off per step has to cross the slower PCIe link between the boards. In an earlier post, the builder found that splitting every layer across all eight cards made speeds “fall off a cliff” because of that PCIe hop. Performance is surprisingly good for a model this size. Code comes out fastest, at up to 215 tokens per second, because a small draft model built into DeepSeek guesses five tokens ahead, and code is easy to guess. Legal writing, which is what the server is for, runs at up to 118 tokens per second. Get Tom's Hardware's best news and in-depth reviews, straight to your inbox. Long documents take longer to get going: the model reads prompts at about 2,200 tokens per second, so at 128K tokens, the first token arrives after about a minute. It can accept up to 524K tokens of context. Three days before the post, the same model on four of these cards managed just 36–38 tokens per second. The jump came with the second board, which could presumably double performance under ideal circumstances, and the builder credits custom kernels and prefill work for the rest. See the table for the full breakdown. Builder’s measurements, Nov. 5; greedy decoding, 1,024 tokens out, mean of two runs. It wasn’t as simple as hooking everything up and turning on the power. The host reset itself twice with a fatal PCIe error on the link to one GPU board, both times with a higher power limit and uncapped GPU clocks. In this state, the cards drew 192–232 W, past the 180 W limit. The best guess, although “not proven,” is that a board stops responding during load spikes. The resets stopped after the builder capped the clocks and removed one board whose power connector had a burn mark; “Check your connectors, people.” Each card is now capped at 150 W, half of its 300 W rating, with the graphics clock capped at 1522 MHz. A 200 W cap brought no appreciable performance gains, according to tests. The system memory hit uncorrected ECC errors, too, which went away after the builder dropped the RAM from DDR4-3200 to DDR4-2666. One GPU was connected at x4 instead of x8 at last check, and the builder plans to reseat it; one commenter traced the same kind of problem on their own V100 to a bad cable. The pain was worth the payoff as an estimated 50–60% of the lawyer’s existing LLM workflows can now run on the box instead of frontier models. Helping bridge the gap is a second DeepSeek server on two DGX Sparks, where the two systems hand work off to each other. The setup does appear to save money, at least when compared to API pricing, although the builder says it’s not really faster. However, it will protect client data “once it is self contained, which is the goal.” The builder added that the V100 box might also get a 240 V circuit. Beyond power, the system is also on borrowed time with the Nvidia R580 driver branch, which is the last to support Volta. For now, the lawyer admits that it’s mostly a hobby, but in the future it may be a business idea. The next step is to handle two or three requests at once, something built and checked on a test system but not yet on the server. Follow Tom’s Hardware on Google News, or add us as a preferred source, to get our latest news, analysis, & reviews in your feeds. Shane Downing is a Contributing Writer for Tom’s Hardware, covering consumer storage, PC hardware, and AI.
▶ 칩 라이브 24 홈으로 — chiplive24.com

다른 반도체 뉴스

3 AI Chip Stocks Retail Investors Are Watching After The Nvidia Selloff · Yahoo FinanceSK hynix Sinks 21% in a Week With Micron and Sandisk. Its U.S. Premium Is an “Extra Special Case” · Yahoo FinanceThis week on Tom's Hardware Premium: 21 November 2026 — AMD, Nvidia and more show off the future of high-performance computing at SC26 · Tom's HardwareThis week on Tom's Hardware Premium: 21 November 2026 — AMD, Nvidia and more show off the future of high-performance computing at SC26 · Tom's HardwareAfter Plummeting 62% This Year, Could Buying Intel Stock Today Set You Up for Life? · Yahoo FinancePrediction: Nvidia Stock Will Be Worth This Much in 1 Year · Yahoo FinanceApplied Materials vs. Nvidia: Which Tech Stock Is a Better Buy for 2027? · Yahoo FinanceTrump Calls Huang’s Exit “Such a Tragedy” as His Filing Shows Up to $380,000 of Nvidia Buys · Yahoo Finance