액사, AX8860 AI 치로 DGX Spark보다 LLM 성능 25% 우위 주장…40W 전력에 273GB/s 대역폭, 128GB LP5X 메모리, PCIe 카드 4개 모듈로 1000TOPs 이상 출력
🇰🇷 한글 번역
Axera는 DGX Spark 대비 25% 빠른 속도를 제공하며 가격은 절반, 전력 소모는 40W에 불과한 최신 AI 칩 AX8860을 공개했다.
Axera의 AX8860 AI 칩은 DGX Spark의 절반 가격에 128GB 메모리를 제공하며 AI 대규모 언어 모델(LLM)을 25~30% 더 빠르게 실행한다.
중국 AI 기업 Axera는 AI LLM과 AI 에이전트를 실행하기 위해 설계된 차세대 솔루션을 발표했다. 칩은 16코어 Arm Cortex-A55 CPU, 최대 256 TOPS의 연산 능력을 갖춘 NPU, 그리고 256비트 LPDDR5/5X 컨트롤러를 기반으로 한다. 이 칩은 6nm 공정 기술로 설계되었으며 PCIe 5.0 연결성을 특징으로 한다.
256 TOPS라는 수치는 희소성(sparsity)을 적용하지 않은 순수 FP4 기준에서 도출된 것이다. 또한, 칩은 앞서 언급한 256비트 버스 인터페이스를 통해 최대 128GB의 LPDDR5X 메모리로 구성될 수 있으며, 최대 273GB/s의 대역폭을 제공한다. 이는 NVIDIA의 DGX Spark와 AMD의 Ryzen AI Halo 플랫폼과 맞먹는 수준이다.
또한 여러 장치에서 256Gbps 네트워킹 인터페이스를 사용한 클러스터 구성을 지원하며, 이는 DGX Spark의 200Gbps 인터페이스보다 빠르다. 2x 클러스터 구성으로 Axera는 연산 출력을 512 TOPS까지 높일 수 있으며, 4x 클러스터의 경우 80%의 확장 효율로 1024 TOPS를 달성한다고 주장한다.
이제 장치로 넘어가자. Axera AX8860P/8860은 다양한 제품 디자인으로 출시될 예정이다. 첫 번째는 전력 등급이 40W인 전용 모듈이다.
네트워킹 및 디스플레이 인터페이스를 갖춘 단일 슬롯 PCIe 카드도 있다. 이는 Gen5x4 커넥터를 사용하며 열 방출을 위한 보조 팬을 탑재하고 있다. 또한 단일 슬롯 폼 팩터로 제공되는 쿼드 칩 솔루션도 있는데, 이는 대형 히트싱크에 네 개의 팬을 갖추고 있다. 이 쿼드 ASIC은 표준 8핀 전원 커넥터로 구동된다. 또한 동일한 칩을 사용한 미니 PC와 포켓 PC도 개발 중이다.
Axera는 AX8860 칩에 그치지 않고 있다. 이 회사는 향후 출시될 솔루션을 보여주는 로드맵을 가지고 있는데, 여기에는 최대 500 TOPS의 AI 연산 능력을 자랑하는 Axera 8950과, 700 TOPS 이상의 AI 연산 능력을 제공할 차세대 8970 칩이 포함된다.
Sipeed은 AX8860 AI 칩의 성능과 비용 측면에 대해 흥미로운 수치를 공유했다. 그들은 NVIDIA DGX Spark 대비 27B의 프리필(prefill) 속도를 25%, 디코드(decode) 속도를 30% 더 빠르게 테스트했다고 주장한다. 또한 이 칩은 DGX Spark의 거의 절반 가격일 것이라고 주장하지만, 이는 7,000달러 이상에 판매되는 128GB 구성인지, 아니면 4,999달러에 판매되는 64GB 구성과 비교한 것인지 명확하지 않다.
그럼에도 불구하고 이러한 주장이 사실이라면, Axera AI 칩은 소형 LLM 및 에이전트 AI 기기에 대해 확실히 견고한 옵션으로 간주될 것이다. Sipeed은 또한 MaixStation과 같은 그들의 장치에 대한 사전 주문 페이지가 24시간 내에 오픈되며 올해 내에 이용 가능할 것이라고 언급했다. 소프트웨어 측면에서 이 칩은 vLLM, SGLang, PyTorch 등 많은 LLM 개발 프레임워크를 지원한다.
최대 256 TOPS(FP4), 128GB의 고대역폭 LPDDR5X 메모리, 강력한 클러스터링 지원, 그리고 더 고성능 칩을 향한 명확한 로드맵을 바탕으로, 이 플랫폼은 가격과 성능 주장이 독립적인 테스트에서 입증되는 한, 소형 LLM 및 에이전트 AI 시스템에 대한 실용적이고 비용 효율적인 대안으로 자리매김한다.
더 많은 뉴스 커버리지를 피드에서 받아보려면 Wccftech를 Google에서 팔로우하세요.
📄 원문 (English)
Axera has unveiled its latest AI chip, the AX8860, which is being claimed to offer a 25% speed-up over the DGX Spark at half the price & at 40W.
Axera's AX8860 AI Chip Offers 128 GB Memory At Half The Price of The DGX Spark & Runs AI LLMs 25-30% Faster
Chinese AI company Axera has unveiled its next-generation solutions designed to run AI LLMs and AI agents. The chip is the AX8860, which is based on a 16-core Arm Cortex-A55 CPU, an NPU with up to 256 TOPS of compute, and a 256-bit LPDDR5/5X controller. The chip has been designed on a 6nm process technology and features PCIe 5.0 connectivity.
The 256 TOPS figure is derived from pure FP4 without any sparsity involved. Additionally, the chip can be configured with up to 128 GB of LPDDR5X memory across the aforementioned 256-bit bus interface, driving a bandwidth of up to 273 GB/s, which puts it next to NVIDIA's DGX Spark and AMD's Ryzen AI Halo platforms.
There's also support for clustered configurations using a 256 Gbps networking interface on many devices, which is faster than the DGX Spark's 200 Gbps interface. With a 2x clustered config, Axera can push the compute output to 512 TOPS, and with a 4x cluster, they claim to achieve 1024 TOPS with a scaling efficiency of 80%.
Now moving on to the devices. The Axera AX8860P/8860 will come in various product designs. The first is a dedicated module with a power rating of 40W.
There's also a single-slot PCIe card with a networking and display interface. It uses a Gen5x4 connector and houses an auxiliary fan for heat dissipation. Then there's a quad-chip solution which comes in a single-slot form factor, and houses four fans across a large heatsink. This quad ASIC is powered by a standard 8-pin power connector. There are also Mini PCs and Pocket PCs being developed with the same chip.
Axera isn't stopping at the AX8860 chip, though. The company has a roadmap in which it shows off upcoming solutions such as the Axera 8950, which will boast up to 500 TOPS of AI compute & then the next-generation 8970 chip, which will offer over 700 TOPS of AI compute.
Sipeed has shared some interesting figures on the performance and cost aspects of the AX8860 AI chip. They claim to have tested Qwen 27B at 25% faster prefill and 30% faster decode speeds than the NVIDIA DGX Spark. They also claim that the chip will be almost half the price of the DGX Spark, though we don't know if that's comparing to the 128 GB configuration, which retails for over $7000 US, or the 64 GB configuration, which retails for $4999.
Nevertheless, if these claims are true, then the Axera AI chip will definitely be seen as a solid option for SFF LLM and Agentic AI machines. Sipeed also mentions that they will have a pre-order page for their devices, such as the MaixStation, open in 24 hours, and that it will be available within this year. On the software side, the chip supports many LLM development frameworks such as vLLM, SGLang, PyTorch, etc.
Backed by up to 256 TOPS (FP4), 128 GB of high-bandwidth LPDDR5X memory, strong clustering support, and a clear roadmap toward higher-performance chips, the platform positions itself as a practical, cost-effective alternative for compact LLM & agentic-AI systems, provided its pricing and performance claims hold up in independent testing.
Follow Wccftech on Google to get more of our news coverage in your feeds.
▶ 칩 라이브 24 홈으로 — chiplive24.com