Cyanogen 공동창립자, CPU·GPU·NPU 간 AI 모델 분산 처리 리눅스 OS '코라' 공개
🇰🇷 한글 번역
새로운 리눅스 데스크톱 OS는 AI 워크로드를 CPU, GPU, NPU에 분산할 뿐만 아니라 동일한 로컬 네트워크에 연결된 다른 머신으로도 분산한다. 사이노젠 공동 창업자가 Kora를 공개하고 새로운 AI 우선 운영체제의 세부 사항을 밝혔다.
인텔 NPU 지원이 계획되어 있지만, 창업자는 AMD의 NPU가 언어 모델에는 작동하지 않을 것이라고 말했다.
사이노젠 공동 창업자 키트 맥마스터가 이끄는 팀은 CPU, GPU, NPU 리소스뿐만 아니라 동일한 로컬 네트워크의 다른 머신으로도 워크로드를 분산할 수 있는 통합 AI 모델과 에이전트를 갖춘 새로운 리눅스 데스크톱 OS인 Kora를 공개했다. 우리는 이 회사에 추가 정보를 요청했다.
이전 이름인 플레이트론이었던 Kora Systems Inc.의 첫 번째 제품인 Kora는 “지능을 위한 운영체제”라는 슬로건을 내걸고 있으며, 로컬 모델을 위해 최적화된 비공개 기술인 자체 코텍스 “하이브리드 추론 엔진” 기술을 탑재하고 있다. “커널부터 셸까지” 구축된 이 OS는 기본적으로 로컬 모델을 실행하고 필요할 때 클라우드 모델을 사용하며, 2027년에 PC에 출시될 예정이다.
데스크톱은 샌드박스화된 워크스페이스와 의미론적 의미로 색인화된 파일을 지칭하는 “뉴럴 워크스페이스”와 “뉴럴 파일 시스템”을 통해 AI 중심의 모티프를 따른다. Kora에는 “작업”, “창작”, “플레이”라는 세 가지 운영 모드가 있다. 마지막 모드는 플레이트론의 GameOS에서 파생된 GameFrame이 담당한다. 사우디 AI 기업 휴메인과 함께 개발 중인 휴메인 OS는 이 OS의 기업용 변형이다.
현재 릴리스 자료에 명시된 유일한 NPU는 퀄컴이 80 TOPS로 평가한 스냅드래곤 X2 엘리트에 있는 헥사곤 NPU이다. X2 엘리트에서 코텍스는 로컬 네트워크의 다른 시스템을 포함해 CPU, GPU 및 NPU 전반에 AI 워크로드를 스케줄링할 수 있는데, 이는 퀄컴 하드웨어를 넘어선 경우에도 작동한다면 새로운 기능일 수 있다.
맥마스터는 토머스 하더웨어에게 스냅드래곤 X2 엘리트 NPU가 디코딩을 위해 구글의 제마 4 26B 모델을 초당 25개의 토큰으로 실행한다고 말했다. 인텔과 AMD NPU 지원이 진행 중이지만, 개발자에 따르면 AMD의 NPU는 언어 모델이 아닌 음성 및 임베딩 모델에 제한될 가능성이 높다.
각 NPU 벤더는 자체 소프트웨어 스택 또는 런타임을 가지고 있으며, 모델이 자체 형식으로 컴파일되기를 선호한다. 퀄컴은 QAIRT/QNN을, 인텔은 OpenVINO를, AMD는 라이젠 AI 소프트웨어를 사용한다. 프레스 키트는 인텔이나 AMD 칩, NPU 런타임, 모델 형식, 양자화, 또는 해당 플랫폼의 속도 수치에 대한 지원을 식별하지 않는다.
우리의 이전 윈도우 테스트에서도 동일한 분리가 나타났다. 스냅드래곤은 ONNX 런타임의 QNN 공급자를 통해 NPU에 접근한 반면, 인텔의 작업은 NPU보다 빨랐기 때문에 GPU를 통해 PyTorch용 확장 프로그램인 IPEX을 통해 실행되었다.
토머스 하더웨어의 최고의 뉴스와 심층 리뷰를 이메일로 바로 받아보세요.
크로스 벤더 지원에 대해 질문했을 때, 맥마스터는 “오늘날 스냅드래곤 X2 엘리트의 헥사곤만 지원된다”고 재차 강조했다. 인텔 NPU 지원은 계획 중이며 “대화가 진행 중”이지만, AMD의 라이젠 AI 칩의 경우 Kora는 “NPU에서 언어 모델을 실행하지 않을 것”이며, ONNX를 통해 임베딩 및 음성 인식 모델에 NPU를 사용할 가능성이 높다.
퀄컴 헥사곤 NPU를 구동하는 것에 관해 맥마스터는 Kora가 “llama.cpp 헥사곤 백엔드”와 “업스트림 FastRPC 드라이버”를 사용한다고 말했다. 이는 운영체제가 퀄컴 자체 QAIRT/QNN 런타임이 아닌, 메인라인 커널의 FastRPC 드라이버를 통해 오픈 소스 llama.cpp 프로젝트를 통해 NPU에 접근한다는 것을 시사한다.
모델 형식에 대해 질문을 받자 맥마스터는 “우리는 llama.cpp의 모델 파일 형식인 GGUF를 주로 지원한다”며, Cortex 내부의 추론 엔진인 Lemma가 “필요에 따라 프로세서 간에 모델 레이어를 분할할 수 있다”고 밝혔다. Lemma는 llama.cpp, whisper.cpp, stable-diffusion.cpp, ONNX를 기반으로 구축되었다. 맥마스터는 어떤 런타임을 사용할지는 모델의 요구 사항에 따라 달라지며, 추후 더 많은 런타임이 추가될 것이라고 말했다.
현재 llama.cpp는 스냅드래곤용 Hexagon 백엔드와 인텔 CPU, GPU, NPU용 OpenVINO 백엔드를 지원하지만, 후자는 아직 ‘진행 중’으로 표시되어 있으며 AMD NPU용 백엔드는 없다. 이는 AMD가 ONNX를 사용하는 이유를 설명해 준다. AMD NPU는 Phoronix가 3월에 보도했듯이 FastFlowLM과 함께 별도의 Lemonade 10.0 스택을 통해 Linux에서 LLM을 실행할 수 있지만, Kora는 그 경로를 선택하지 않았다.
NPU 스택 외에도 Kora를 실행하려는 사용자는 시스템의 사용 가능한 메모리에 주의해야 한다. Kora가 사용하는 Gemma 4 26B 모델(구글이 Gemma 4 26B A4B로 명명)은 컨텍스트 창 크기보다 먼저 4비트(Q4_0) 양자화 상태에서 가중치를 로드하는 데 약 14.4GB의 메모리가 필요하며, 구글의 추정에 따르면 그렇다. 제3자 목록에 따르면 Kora가 사용하는 Q4_K_M 파일의 다운로드 크기는 약 16~17GB로 나온다. 이 모델은 260억 개의 파라미터 중 매 토큰마다 약 40억 개만 활성화되지만, 메모리에 완전히 로드되어야 한다.
맥마스터는 이 모델을 사용할 때 X2 Elite가 “32K 컨텍스트로 Hexagon NPU에서만 실행될 때 초당 25개의 토큰 디코드 처리량과 초당 550개의 토큰 프리필 처리량”에 도달한다고 말했다. 혼합 전문가(MoE) 모델이 아닌 밀집(Dense) 모델이라면 훨씬 느릴 것이다. RAM 구성이나 구체적인 X2 Elite 칩 사양은 공개되지 않았다.
메모리에 관해 맥마스터는 “더 나은 모델에 접근할 수 있게 해주므로 64GB를 권장한다”면서도 이는 필수 요구사항은 아니라고 말했다. 회사는 2027년에 관리하는 모델 호출의 약 70%가 로컬에서 실행될 것으로 전망한다.
Kora는 기업 중심의 Humain OS가 먼저 출시되며, 스냅드래곤 X2 Elite를 사용하는 OEM PC에서 2027년에 “상업적으로 이용 가능”해질 것이라고 밝혔다. Kora는 “2027년 후반”에 이어질 예정이다.
맥마스터는 “Kora는 당사 웹사이트에 게시되어 누구나 설치할 수 있도록 다운로드 가능할 것”이라고 말했다. 여기에는 권장 구성 목록이 포함되겠지만 “대부분의 최신 PC에 설치 가능해야 한다”고 덧붙였다. 정확한 가격과 전체 비즈니스 모델은 출시일에 가까워지면 공유될 예정이다.
최신 뉴스, 분석 및 리뷰를 피드에서 받아보려면 Tom’s Hardware의 Google 뉴스를 팔로우하거나 선호하는 소스로 추가하세요.
Shane Downing은 Tom’s Hardware의 기여 작가로, 소비자 스토리지, PC 하드웨어 및 AI를 다루고 있습니다.
📄 원문 (English)
New Linux desktop OS splits AI workloads across CPU, GPU, and NPU, and also other machines connected to the same local network — Cyanogen co-founder unveils Kora, details the new AI-first operating system
Intel NPU support is planned, but founder says AMD’s NPU likely won’t work for language models.
A team led by Cyanogen co-founder Kirt McMaster has unveiled Kora, a new Linux desktop OS with integrated AI models and agents that can split workloads across CPU, GPU, and NPU resources, as well as other machines on the same local network. We reached out to the firm for more info.
Kora, the first product from Kora Systems Inc., previously Playtron, carries the tagline “The Operating System for Intelligence” and has its own Cortex “hybrid inference engine” technology, which is not open source and is optimized for local models. The OS, built “from the kernel to the shell,” runs local models by default and cloud models when needed, and is expected to arrive on PCs in 2027.
The desktop follows the AI-focused motif with “neural workspaces” and a “neural file system,” which refer to sandboxed workspaces and files indexed by semantic meaning. Kora has three operating modes: “Work," "Create," and "Play." That last base is covered by GameFrame, which descends from Playtron’s GameOS. Humain OS, which Kora is developing with Saudi AI company Humain, is the enterprise variant of this OS.
Currently, the only NPU named in the release material is the Hexagon NPU found in the Snapdragon X2 Elite, which Qualcomm pegs at 80 TOPS. On the X2 Elite, Cortex can schedule AI workloads across the CPU, GPU, and NPU, as well as other systems on the local network, which could be a novel capability if it works beyond the Qualcomm hardware.
McMaster told Tom’s Hardware that the Snapdragon X2 Elite NPU runs Google's Gemma 4 26B model at 25 tokens per second for decode. Intel and AMD NPU support is in the works, but according to the developer, AMD’s NPU will likely be limited to speech and embedding models, not LMs.
Each NPU vendor has its own software stack, or runtime, and prefers that models are compiled in its own format: Qualcomm with QAIRT/QNN, Intel with OpenVINO, and AMD with Ryzen AI software. The press kit doesn't identify support for any Intel or AMD chip, NPU runtime, model format, quantization, or speed figures for those platforms.
Our earlier Windows testing showed the same kind of divide: Snapdragon reached its NPU through the QNN provider under ONNX Runtime, while Intel’s work ran through IPEX, its extension for PyTorch, on the GPU because it was faster than the NPU.
Get Tom's Hardware's best news and in-depth reviews, straight to your inbox.
When asked about cross-vendor support, McMaster reiterated that “only Hexagon on Snapdragon X2 Elite is supported today.” Intel NPU support is planned, with “conversations underway,” while on AMD’s Ryzen AI chips, Kora “likely won’t run language models on the NPU," and will likely use it for embedding and speech-recognition models through ONNX.
As for what drives the Qualcomm Hexagon NPU, McMaster said Kora uses the “llama.cpp Hexagon backend” and “the upstream FastRPC driver.” That suggests the operating system reaches the NPU through the open-source llama.cpp project, not Qualcomm’s own QAIRT/QNN runtime, by way of the FastRPC driver in the mainline kernel.
When asked about model formats, McMaster said, “we predominantly support GGUF,” llama.cpp’s model file format, and that Lemma, the inference engine inside Cortex, “can split model layers across processors as needed.” Lemma is built on llama.cpp, whisper.cpp, stable-diffusion.cpp, and ONNX. McMaster says that which runtime is used depends on the model's requirements, and more runtimes will be added down the line.
For today, llama.cpp has a Hexagon backend for Snapdragon and an OpenVINO backend for Intel CPUs, GPUs, and NPUs, although the latter is still marked “In Progress,” and no AMD NPU backend, which would explain why AMD goes through ONNX. AMD NPUs can run LLMs on Linux through the separate Lemonade 10.0 stack with FastFlowLM, as reported by Phoronix in March, though that isn’t the route Kora has chosen.
Beyond NPU stacks, those hoping to run Kora will need to be mindful of their system's available memory. The Gemma 4 26B model Kora uses, which Google lists as Gemma 4 26B A4B, needs about 14.4GB of memory to load its weights at 4-bit (Q4_0) quantization, by Google’s estimate, before any context window, while third-party listings put the download for the Q4_K_M file Kora uses at about 16–17GB. The model only activates about 4 billion of its 26 billion parameters per token but still needs to be fully loaded into memory.
McMaster said that with the model, the X2 Elite reaches “25 TPS decode throughput and 550 TPS prefill throughput,” or tokens per second, running “entirely on the Hexagon NPU with 32K context.” A dense model, rather than a mixture-of-experts, would be far slower. Not given are the RAM configuration or the specific X2 Elite chip.
On memory, McMaster said that “we recommend 64GB because it gives you access to better models,” but that is not a firm requirement. The company projects that “about 70 percent of the model calls it manages will run locally in 2027.”
Kora says its enterprise-focused Humain OS is due first and will be “commercially available in 2027,” on OEM PCs using the Snapdragon X2 Elite. Kora will follow "later in 2027.”
McMaster says that “Kora will be posted on our site and downloadable for anyone to install.” Included will be a list of recommended configurations, “but it should be installable on most modern PCs.” Exact pricing and the overall business model will be shared closer to the date of availability.
Follow Tom’s Hardware on Google News, or add us as a preferred source, to get our latest news, analysis, & reviews in your feeds.
Shane Downing is a Contributing Writer for Tom’s Hardware, covering consumer storage, PC hardware, and AI.
▶ 칩 라이브 24 홈으로 — chiplive24.com