DFRobot DX-M1, M.2 슬롯 활용 AI 가속기…5W 전력에 25 TOPS 성능, 가격 139달러
🇰🇷 한글 번역
거대 전력 소모 GPU와 고가의 클라우드 API 구독은 대규모 언어 모델(LLM)을 다룰 때의 표준이지만, 에지 컴퓨팅은 완전히 다른 접근 방식을 필요로 합니다. 대부분의 사용자는 지역화된 컴퓨터 비전이나 객체 감지 작업을 처리하기 위해 거대한 서버 랙이 필요하지 않으며, 바로 여기에 DFRobot의 DX-M1과 같은 하드웨어가 등장합니다. 마더보드의 M.2 슬롯 하나만 필요로 하는 이 AI 가속기는 표준 저장 장치 입력구에 상당한 추론 성능을 담으면서도 가격은 단 139달러에 불과합니다.
DX-M1은 엄밀히 말해 추론 전용 가속기이므로, 초라한 4GB의 LPDDR5 RAM으로 70B나 심지어 27B AI 모델을 실행할 것으로 기대해서는 안 됩니다.
최신 PCIe NVMe Gen 5 SSD와 동일한 폼 팩터를 갖추고 있지만, 이 AI 가속화 모듈은 INT8 연산 성능으로 respectable한 25 TOPS를 발휘하면서도 전력 소모는 고작 2W에서 5W에 그칩니다. 즉, 냉각 장치의 시끄러운 소음이나 심한 열 스로틀링 없이 모바일 로봇이나 컴팩트한 환경에서 지속적인 지역화된 AI 워크로드를 배포하더라도 전기 요금은 거의 신경 쓰지 않아도 됩니다.
내부 구조를 살펴보면, 이 하드웨어는 온보드 LPDDR5 RAM 4GB 덕분에 시스템의 기본 RAM과 완전히 독립적으로 작동하도록 구성되어 있습니다. 이 메모리는 신경망 가중치를 로드하는 데 전용되며, 펌웨어 안정성과 컴파일된 모델의 로컬 저장을 위해 1Tbit(128GB)의 QSPI NAND 플래시가 함께 제공됩니다.
모든 통신은 PCIe Gen 3 인터페이스를 통해 처리되며, DX-M1은 번들된 DXNN SDK를 통해 PyTorch, TensorFlow, TensorFlow Lite, ONNX와 같은 프레임워크를 지원합니다. 이러한 유연성은 YOLO나 MobileNet과 같은 모델을 원활하게 컴파일할 수 있게 해줍니다. 그러나 앞서 언급했듯이, 로컬 LLM을 실행하는 데 집착한다면 이 AI 가속화 모듈이 기대만큼 흥미로운 제품은 아닐 것입니다.
4GB의 메모리는 너무 적기 때문에, 에지 NPU가 실제로 제공하는 성능에 대해 현실적인 기대를 유지해야 합니다. 이는 머신러닝 모델을 학습하거나 70B 파라미터의 대규모 언어 모델을 로컬에서 실행할 수 있는 만능 해결책이 아니라, 실시간 비디오 분석, 로봇 항법, 시각 검사에 특화된 추론 전용 가속기입니다.
또 다른 단점은 온보드 저장 장치를 일반 운영 체제 저장 공간으로 사용할 수 없다는 점입니다. 즉, 빈 M.2 슬롯에 삽입할 계획이라면 표준 NVMe 드라이브를 통해 저장 장치를 업그레이드할 기회를 잃게 됩니다. 그럼에도 불구하고 자동화된 카메라 피드, 시각적 감지, 또는 지역화된 로봇을 실행하며 유휴 상태의 워크스테이션 GPU에 막대한 전력을 공급하는 것을 거부하는 애호가와 개발자들에게 이 139달러짜리 M.2 스틱은 훌륭한 대안이 될 수 있습니다.
더 많은 뉴스 커버리지를 피드에서 받아보려면 Google에서 Wccftech를 팔로우하세요.
📄 원문 (English)
Power hungry GPUs and expensive cloud API subscriptions are the standard when dabbling with LLMs, but edge computing requires a completely different approach. Most users do not require massive server racks just to handle localized computer vision or object detection tasks, and that’s where hardware like DFRobot’s DX-M1 comes into play. Requiring just one M.2 slot on your motherboard, this AI accelerator packs some serious inference muscle into a standard storage input while costing only $139.
The DX-M1 is strictly an inference accelerator, so don’t expect to run 70B or even 27B AI models with its paltry 4GB of LPDDR5 RAM
Despite packaging the same footprint as the newest PCIe NVMe Gen 5 SSD, this AI accelerator module pushes out a respectable 25 TOPS of INT8 compute while pulling a measly 2W to 5W of power. In short, you won’t even feel that electricity bill when you’re busy deploying continuous, localized AI workloads on mobile robotics or compact setups without dealing with noisy cooling assemblies or severe thermal throttling.
Underneath the hood, the hardware is configured to operate entirely independently of your machine’s primary system RAM, thanks to its 4GB of onboard LPDDR5 RAM, which is dedicated to loading neural network weights, alongside 1Tbit (128GB) of QSPI NAND Flash for firmware stability and storing compiled models locally.
All communication is handled over a PCIe Gen 3 interface, with the DX-M1 supporting frameworks such as PyTorch, TensorFlow, TensorFlow Lite, and ONNX via the bundled DXNN SDK. This flexibility enables users to compile models like YOLO or MobileNet seamlessly. However, as mentioned above, this AI accelerator module shouldn’t get you excited if you’re hell-bent on running local LLMs.
That 4GB of memory is far too little, so you’ll have to maintain realistic expectations about what an edge NPU actually delivers. This is strictly an inference accelerator tailored for real-time video analytics, robotics navigation, and visual inspection, not a magic bullet that’ll let you train machine learning models or run 70B parameter Large Language Models locally.
Another downside is that you also cannot use its onboard storage for regular operating system storage, meaning that if you plan on inserting it into a vacant M.2 slot, you’ll lose out on potentially upgrading your storage with a standard NVMe drive. Still, for enthusiasts and developers running automated camera feeds, visual detection, or localized robotics who refuse to feed massive amounts of power to an idle workstation GPU, this $139 M.2 stick appears to be an excellent alternative.
Follow Wccftech on Google to get more of our news coverage in your feeds.
▶ 칩 라이브 24 홈으로 — chiplive24.com