TESLA LIVE 24.com · 24시간 반도체·SOXL 시세·속보 한국어 실시간

홈랩 사용자가 GPU 없이 중단된 인텔 옵테인 메모리로 2.8조 파라미터 AI 모델 구동

Wccftech · 2026.11.13 01:29 · 원문 사이트
🇰🇷 한글 번역
하드웨어 애호가들이 GPU 가속 없이 CPU만으로 구동되는 서버에서 세계 최대 규모의 오픈 가중치 AI 모델 중 하나를 구동하는 데 성공했다. 그 비결은 무엇일까? 기존 서버용 DRAM 대비 훨씬 낮은 비용으로 막대한 메모리 용량을 제공하는 단종된 인텔 옵테인 영구 메모리 모듈이다. 레딧 사용자 IndividualSurvival이 공개한 이 실험은 40코어 3세대 인텔 제온 스케일러블 프로세서에서 Moonshot AI의 거대한 2.8조 파라미터 Mixture-of-Experts(MoE) 모델인 Kimi K3를 구동하는 것을 포함한다. Kimi K3는 토큰당 약 1040억 개의 파라미터를 활성화하며, 이론적으로 100만 토큰의 컨텍스트 창을 제공한다. 그러나 심하게 양자화된 버전조차 수백 기바의 메모리가 필요하므로, 일반적인 소비자용 하드웨어로는 전체 모델을 로컬에서 실행하는 것이 적합하지 않다. 단종된 인텔 옵테인 메모리가 실험을 가능하게 하다 고용량 DDR4에 천문학적인 비용을 들이거나 비싼 전문용 GPU를 구매하는 대신, 이 하드웨어 애호가는 2세대 인텔 옵테인 영구 메모리 200 시리즈, 즉 바로우 패스(Barlow Pass)를 선택했다. 이 모듈은 스틱당 최대 512GB 용량의 영구적이고 바이트 주소 지정 가능한 메모리를 제공한다. 인텔이 2022년 이후 옵테인 개발을 중단했지만, 중고 모듈은 여전히 메모리 집약적 워크로드를 실험하는 애호가들에게 흥미로운 대안이 되고 있다. llama.cpp를 사용하여 옵테인을 App Direct 모드로 구성한 결과, 빌더는 GPU 가속 없이도 모델을 성공적으로 로드했다. 이 구성은 시스템 DRAM이 옵테인을 위한 하드웨어 관리 캐시로 작동하는 일반적인 Memory Mode와 다르다. 초기 성능은 이해할 수 있게도 낮았으며, 1비트 양자화 시 초당 0.85토큰에 불과했다. 그러나 Direct Access(DAX)를 비활성화하면 처리량이 초당 1.50토큰으로 증가하여 약 76%의 개선을 보였다. 그 이유는 비교적 간단하다. DAX는 운영체제의 페이지 캐시를 우회하는 반면, 이를 비활성화하면 자주 접근하는 데이터가 더 빠른 DRAM 캐시의 혜택을 받을 수 있기 때문이다. 별도로 3비트 양자화 테스트에서는 초당 약 0.75토큰을 달성했다. 그 속도에서는 5만 토큰을 생성하는 데 약 18.5시간이 필요하며, 이는 상당한 성능 타협이 수반됨을 보여준다. 또한 과도한 1비트 양자화는 모델 정확도에 부정적인 영향을 미칠 수 있다. 인텔 옵테인의 열 발출이 또 다른 주요 과제로 대두 아마도 가장 중요한 발견은 인텔의 영구 메모리 모듈의 열적 거동에 관한 것이다. 지속적인 추론 워크로드 하에서 옵테인 DIMM은 상당한 열을 발생시킨다. 인텔의 사양에 따르면 개별 모듈은 최대 18W의 전력 수준에서 작동할 수 있으며, 열 스로틀링은 83°C에서 시작되고 보호를 위한 시스템 종료는 85°C에서 발생한다. 이 하드웨어 애호가는 부적절한 공기 흐름이 인접한 DDR4 ECC 메모리 모듈도 위협할 수 있다고 경고했지만, 실제 메모리 고장은 기록되지 않았다. 이 문제를 해결하기 위해 빌더는 DIMM을 직접 향하는 전용 12W 블로어 팬 두 개를 설치했으며, 보고에 따르면 온도를 통제 수준으로 낮췄다. 제한된 성능에도 불구하고 이 실험은 노후화된 엔터프라이즈 하드웨어가 현대 AI 워크로드에서 여전히 비전통적인 용도를 찾을 수 있음을 보여준다. 빌더는 추론 속도를 높이기 위해 GPU 가속 및 하이브리드 DRAM/옵테인 구성 실험을 계획하고 있다. 이러한 최적화가 이러한 비전통적인 설정을 실제로 실용적인 것으로 만들 수 있을지는 아직 미지수다. 뉴스 출처: r/homelab 서브레딧 구독자 여러분의 피드에서 더 많은 뉴스 커버리지를 받아보시려면 Wccftech를 Google에서 팔로우하세요.
📄 원문 (English)
A hardware enthusiast has managed to run one of the world's largest open-weight AI models on a server powered entirely by a CPU, with no GPU acceleration whatsoever. The secret? Discontinued Intel Optane persistent memory modules, which provide enormous memory capacity at a fraction of the cost of conventional server DRAM. The experiment, shared by Reddit user IndividualSurvival, involves running Moonshot AI's Kimi K3, a massive 2.8-trillion-parameter Mixture-of-Experts (MoE) model, on a third-generation Intel Xeon Scalable processor featuring 40 cores. Kimi K3 activates approximately 104 billion parameters per token, with a theoretical context window of one million tokens. However, even heavily quantized versions require hundreds of gigabytes of memory, making conventional consumer hardware unsuitable for running the complete model locally. Discontinued Intel Optane Memory Makes The Experiment Possible Rather than spending a fortune on high-capacity DDR4 or expensive professional GPUs, the enthusiast opted for second-generation Intel Optane Persistent Memory 200 Series, also known as Barlow Pass. These modules provide persistent, byte-addressable memory in capacities reaching 512 GB per stick. Although Intel abandoned future Optane development in 2022, secondhand modules remain an interesting alternative for enthusiasts experimenting with memory-intensive workloads. Using llama.cpp with Optane configured in App Direct mode, the builder successfully loaded the model without requiring GPU acceleration. The configuration differs from conventional Memory Mode, where system DRAM functions as a hardware-managed cache for Optane. Initial performance was understandably modest, reaching just 0.85 tokens per second with 1-bit quantization. However, disabling Direct Access (DAX) increased throughput to 1.50 tokens per second, an approximately 76% improvement. The reason is relatively straightforward: DAX bypasses the operating system's page cache, whereas disabling it allows frequently accessed data to benefit from faster DRAM caching. A separate 3-bit quantization test achieved approximately 0.75 tokens per second. At that speed, generating 50,000 tokens would require roughly 18.5 hours, highlighting the significant performance compromises involved. Furthermore, aggressive 1-bit quantization can adversely affect model accuracy. Intel Optane's Heat Output Presents Another Major Challenge Perhaps the most important discovery concerns the thermal behavior of Intel's persistent memory modules. Under sustained inference workloads, the Optane DIMMs generate substantial heat. According to Intel's specifications, individual modules can operate at power levels reaching 18W, with thermal throttling beginning at 83°C and protective shutdown occurring at 85°C. The enthusiast warned that inadequate airflow could also threaten adjacent DDR4 ECC memory modules, although no actual memory failure was documented. To address the issue, the builder installed two dedicated 12W blower fans aimed directly at the DIMMs, reportedly bringing temperatures under control. Despite the limited performance, the experiment demonstrates how aging enterprise hardware can still find unconventional applications in modern AI workloads. The builder plans to experiment with GPU acceleration and hybrid DRAM/Optane configurations to improve inference speeds. Whether these optimizations make such an unconventional setup genuinely practical remains to be seen. News Source: r/homelab subreddit Follow Wccftech on Google to get more of our news coverage in your feeds.
▶ 칩 라이브 24 홈으로 — chiplive24.com

다른 반도체 뉴스

3 AI Chip Stocks Retail Investors Are Watching After The Nvidia Selloff · Yahoo FinanceSK hynix Sinks 21% in a Week With Micron and Sandisk. Its U.S. Premium Is an “Extra Special Case” · Yahoo FinanceThis week on Tom's Hardware Premium: 21 November 2026 — AMD, Nvidia and more show off the future of high-performance computing at SC26 · Tom's HardwareThis week on Tom's Hardware Premium: 21 November 2026 — AMD, Nvidia and more show off the future of high-performance computing at SC26 · Tom's HardwareAfter Plummeting 62% This Year, Could Buying Intel Stock Today Set You Up for Life? · Yahoo FinancePrediction: Nvidia Stock Will Be Worth This Much in 1 Year · Yahoo FinanceApplied Materials vs. Nvidia: Which Tech Stock Is a Better Buy for 2027? · Yahoo FinanceTrump Calls Huang’s Exit “Such a Tragedy” as His Filing Shows Up to $380,000 of Nvidia Buys · Yahoo Finance