애플 연구진, 유휴 맥을 가상 GPU 클라우드로 전환하는 ‘미뇽’ 개발
🇰🇷 한글 번역
애플 연구진, 유휴 맥을 가상 GPU 클라우드로 전환하는 ‘미뇽’ 개발 — 연구진은 분산 방식이 전 세계적으로 확장 가능하며 모델 학습을 지원할 수 있다고 주장
슬랙을 통한 간단한 요청으로 시작할 수 있지만, 팀들은 자신의 데이터가 소속 그룹 외부의 기기에서 실행되는 것에 대해 우려하고 있다.
애플은 최근 연구진이 발표한 arXiv 논문에 따르면, 작업 부하를 관리하기 위해 유휴 맥으로 구성된 ‘가상 GPU 클라우드’인 ‘미뇽(Minions)’이라는 시스템을 내부적으로 사용하고 있다. 이 시스템은 한때 10시간 이상의 회사 GPU 대기열을 겪었던 stalled(정지된) AI 작업을 처리하고, 이를 네트워크상의 맥으로 분배하여 대기 시간을 최소 몇 분까지 줄여준다. 회사 내 슬랙에서 사용자의 요청이 있으면 작업이 시작되지만, 연구진은 팀의 데이터가 소속 그룹 외부의 기기에서 실행되는 것에 대한 일반적인 우려를 관찰했다.
애플의 머신러닝 연구 사이트에서도 공유된 이 논문은 시스템을 ‘미뇽 서버’, ‘미뇽 실행기’, ‘미뇽 감시자’로 구성되ı다고 설명한다. 이 시스템은 AI 추론, 즉 수행하는 유일한 유형의 작업에 대해 애플 실리콘에 특화되어 의존한다. 두 가지 유형의 작업이 있다: 오픈소스 허깅페이스 트랜스포머 모델을 사용한 임베딩과, 각 참여 맥에 설치된 올라마를 통해 대규모 언어 모델(LLM)에서 텍스트 생성하기.
미뇽 서버는 제출된 작업을 서브태스크로 분할하여 PostgreSQL 데이터베이스에 저장하는 방식으로 작동한다. 그런 다음 각 맥에서 미뇽 실행기가 실행되어 REST API를 통해 다음 서브태스크를 가져온다. 이 ‘풀 기반 실행 모델’에는 중앙 스케줄러가 없다. 맥은 아마존 S3에서 입력을 읽고, 필요한 경우 모델을 가져와 자체 GPU에서 서브태스크를 실행한 후 결과를 S3로 반환한다.
실패는 미뇽 감시자에 의해 감지되며, 이 감시자는 작업을 실행하는 맥들이 5분마다 보내는 하트비트를 추적한다. 맥이 절전 모드로 들어가거나 네트워크에서 끊기거나 전원이 꺼지거나, 사용자가 기기의 제어권을 되찾기 위해 실행기를 중지하는 경우 등 완료되지 않은 서브태스크는 다시 대기열로 돌아간다. 소유자는 ‘동적 태스크 바인딩’을 통해 특정 팀이나 프로젝트의 작업을 선호하는 등 맥이 어떤 작업을 먼저 처리할지 결정할 수 있으며, 기본인 선입선출(FIFO) 방식에 의존할 수도 있다.
우리의 이해에 따르면, 각 맥은 자신의 작업 조각에 대해 전체 모델을 실행하며, 논문은 어떤 단일 모델이 여러 맥에 분할되어 실행된다는 것을 시사하지 않는다. 통합 메모리를 갖춘 단일 맥의 하드웨어에서 모델을 완전히 실행하는 것은 동일한 방식을 자신의 홈 랩에서 실천하는 오픈클로어(OpenClaw) 애호가들에게는 놀라운 일이 아니다. 자원봉사 컴퓨팅이라는 측면도 새로운 것은 아니며, 논문에 설명된 아키텍처를 기반으로 SETI@home과 Folding@home의 모델처럼 유휴 기계에 작은 청크를 분배하는 것을 연상시킨다.
GPU 대기 시간 단축 외에도, 논문은 미뇽을 사용한 요청에는 새로운 GPU 요청이 필요하지 않으며, 인프라 비용이 제로가 되고, 확장 노력이 수동에서 유기적으로 변한다고 지적한다. 이는 전기 요금이나 하드웨어 마모 비용은 고려하지 않은 것이다.
참여는 비공식적으로 처리되며, 팀원들은 예를 들어 “다른 사람들에게 미뇽 실행기를 일시적으로 실행하고 특정 프로젝트나 작업을 대상으로 하도록 요청하는 슬랙 메시지를 보내는” 경우가 있다. 기밀성은 내부 작업에 대해서도 여전히 우려 사항이며, 애플은 자체 데이터베이스와 별도의 맥 풀을 가진 팀 및 조직 범위 배포를 통해 이를 완화하려 한다.
톰스 하드의 최고의 뉴스와 심층 리뷰를 이메일로 직접 받아보세요.
새로운 논문은 컴퓨팅 자원이 AI 관련 워크로드에서 점점 더 병목 현상으로 작용하는 시점에 발표되었다. 애플은 7월 최신 분기 보고서에서 공급이 제한되고, 납기 기간이 길어지며, 비용이 증가하는 생태계에서 “충분한 컴퓨팅 자원”에 대한 접근에 의존한다고 인정하며 이를 시인했다. 자체 데이터 센터와 제3자 클라우드 제공업체를 보유하고 있음에도 불구하고 “충분한 용량을 확보”하지 못할 위험이 존재하는 점은 ‘미뇽(Minions)’ 접근 방식을 더욱 실용적으로 만드는 것으로 보인다.
6월 WWDC에서 처음 발표된 바와 같이, 더 복잡한 요청을 위한 애플 인텔리전스의 서버 측인 애플의 프라이빗 클라우드 컴퓨트(Private Cloud Compute)는 이제 구글 클라우드의 엔비디아 GPU에서도 실행되고 있다. 이는 당시 CEO인 팀 쿡이 4월에 맥 미니와 맥 스토디오의 공급이 추격을 따라잡는 데 몇 달이 걸릴 수 있다고 말한, 로컬 AI에 대한 갑작스럽고 높은 맥 수요 이후 이루어진 것이다. 7월 실적 통화에서 논의된 기기 공급 문제는 고급 공정 노드의 제약과 증가하는 메모리 비용도 언급했다.
저자들은 향후 연구에서 미뇽이 분산 모델 학습으로 확장될 것이라고 밝혔다. 더 광범위하게 그들은 조직 전반에 걸쳐, 또는 잠재적으로 전 세계 커뮤니티에 걸쳐 유휴 맥들이 “보안된 연방(federated)” 방식으로 연결된다면 공유 GPU 풀을 형성할 수 있다고 썼다. 현재로서는 맥들이 애플 내부에서만 오버플로우 AI 용량으로 작동한다.
최신 뉴스, 분석 및 리뷰를 피드에서 받아보려면 Tom’s Hardware를 구글 뉴스에서 팔로우하거나 선호하는 소스로 추가하십시오.
셰인 다운잉은 소비자 스토리지, PC 하드웨어 및 AI를 다루는 Tom’s Hardware의 기고 작가입니다.
📄 원문 (English)
Apple researchers turn idle Macs into a virtual GPU cloud with ‘Minions’ — researchers say the distributed scheme could scale globally and support model training
Can start with a simple request over Slack, but teams worry about their data running on devices outside their group.
Apple internally uses a system known as “Minions,” a “virtual GPU cloud” made up of idle Macs, to help manage workloads, as described in a recent arXiv paper published by its researchers. The system helps take stalled AI jobs, some that once had 10-plus-hour company GPU queues, and distributes them to Macs on the network, with resulting wait times down to as little as minutes. A request from a user on the company’s Slack can get the ball rolling, although the researchers observed a common concern about teams’ data running on devices outside their group.
The paper, also shared on Apple’s Machine Learning Research site, describes the system as having a “Minion Server,” a “Minion Executor,” and a “Minion Watchdog.” The system relies specifically on Apple Silicon for AI inference, the only type of work it does. There are two kinds of jobs: embeddings with open-source Hugging Face transformer models, and text generation from large language models through Ollama, which is installed on each participating Mac.
The Minion Server works by splitting submitted tasks into subtasks, stored in a PostgreSQL database. Then, on each Mac, a Minion Executor is run to pull the next subtask over REST APIs; there is no central scheduler in this “pull-based execution model.” The Mac reads inputs from Amazon S3, grabs the model if needed, runs the subtask on its own GPU, then returns the result to S3.
Failures are caught by the Minion Watchdog, which tracks the heartbeats that Macs running work send every five minutes. Unfinished subtasks end up back in the queue when, for example, a Mac goes to sleep, drops off the network, powers off, or a user stops the executor to get control of the machine back. The owner can determine which jobs the Mac takes first, such as preferring one team’s or project’s jobs with “dynamic task binding,” or can rely on the default first-in, first-out scheme.
Our understanding is that each Mac runs a whole model on its own piece of work, and the paper does not suggest that any one model is split across Macs. Running a model entirely on one Mac’s hardware with unified memory should come as no surprise to OpenClaw enthusiasts who practice the same in their own home labs. The volunteer computing angle is also not new, reminiscent of SETI@home’s and Folding@home’s model of distributing small chunks to idle machines, based on the paper’s described architecture.
Aside from the reduction in GPU queue times, the paper also cites that requests with Minions do not require new GPU requests, the infrastructure cost is zeroed, and the scaling effort goes from manual to organic. This does not factor in the electricity costs or hardware wear.
Participation is handled informally, and team members may, for example, “send Slack messages requesting others to temporarily run the Minion Executor and target a specific project or task.” Confidentiality remains a concern even for internal work, which Apple aims to mitigate with team- and organization-scoped deployments with their own databases and separate pools of Macs.
Get Tom's Hardware's best news and in-depth reviews, straight to your inbox.
The new paper comes at a time when compute is increasingly a bottleneck for AI-related workloads. Apple acknowledges this in its latest quarterly filing in July, saying that it “depends on access to sufficient computing resources” in an ecosystem with “constrained supply, extended lead times, and increasing costs.” The risk that it may be unable to “secure sufficient capacity,” even with its own data centers and third-party cloud providers, appears to make the Minions approach more practical.
Apple’s Private Cloud Compute, the server side of Apple Intelligence for more complex requests, now also runs on Nvidia GPUs in Google Cloud, first announced at WWDC in June. That came after sudden and high Mac demand for local AI, with then-CEO Tim Cook saying in April that the Mac mini and Mac Studio supply may take months to catch up. Device supply discussed in the July earnings call also mentioned advanced-node constraints and increasing memory costs.
The authors say that, in future work, Minions will extend to distributed model training. More broadly, they write that if idle Macs across organizations “or potentially across the global community” can be “securely federated,” they could form a shared GPU pool. For now, the Macs act as overflow AI capacity only inside Apple.
Follow Tom’s Hardware on Google News, or add us as a preferred source, to get our latest news, analysis, & reviews in your feeds.
Shane Downing is a Contributing Writer for Tom’s Hardware, covering consumer storage, PC hardware, and AI.
▶ 칩 라이브 24 홈으로 — chiplive24.com