람다, 엔비디아 광기술로 AI 팩토리 복원력과 효율성 강화
🇰🇷 한글 번역
AI 모델을 훈련하려면 수천 개의 GPU가 함께 작동해야 하며, 이는 빠르고 효율적이며 견고한 네트워크를 필요로 합니다.
람다는 엔비디아 포토닉스 공동 패키징 광학(CPO) 스위치를 통해 이 퍼즐의 네트워크 부분을 해결하고 있습니다. 이 클라우드 제공업체는 이 스위치를 10,000개 이상의 GPU를 탑재한 엔비디아 GB300 NVL72 랙과 연결하여, 대규모 AI 공장에 더 낮은 전력 소모, 더 높은 견고성, 그리고 더 긴 평균 고장 간격(MTBI)을 제공하고 있습니다.
“네트워킹은 점점 더 대규모화되는 AI 클러스터의 요구 사항에 맞춰 발전해야 합니다.” 람다 클라우드 서비스 부사장이자 사장인 데이브 워드는 말했습니다. “이러한 규모의 배포에 공동 패키징 광학을 도입하는 것은次世代 AI를 지원하기 위해 필요한 인프라를 구축하는 데 중요한 한 걸음입니다.”
스위치를 사용한 회사의 테스트에서, 랙 규모에서는 약 4%, 포트 규모에서는 최대 약 10%까지 네트워크 지연 시간(데이터 전송에 필요한 시간)이 감소했습니다. 랙, 확장 가능한 유닛 및 포트 구성 전반에 걸쳐 네트워크는 기존 플러저블 광학 소자와 동일한 처리량을 유지합니다.
대규모에서의 전력 효율성 및 견고성 제공
전력 효율성과 견고성을 개선하는 것이 중요한 이유는 네트워크가 AI 공장 생산성의 중심에 있기 때문입니다.
대규모 훈련 작업에서 하나의 연결이 중단되면 수천 개의 GPU가 마비될 수 있습니다. 에이전트 추론의 경우, 하나의 네트워크 장애가 많은 에이전트에 연쇄적인 지연 효과를 초래할 수 있습니다. 모든 중단은 시간을 낭비하며, 네트워킹에 쓰이는 모든 와트는 연산에 사용할 수 없는 와트입니다.
엔비디아 포토닉스는 전력 효율성과 견고성 모두를 해결합니다. 스위치 패키지에 플러저블 트랜시버를 공동 패키징된 광학 엔진으로 대체함으로써, 기존 플러저블 광학 소자 대비 최대 5배 향상된 전력 효율성과 최대 15배 높은 신뢰성을 제공합니다. 또한 레이저 사용량을 4분의 1로 줄여 고장 가능성이 있는 부품의 수를 줄입니다.
더 시원한 광학 소자 및 교체 가능한 광원으로 견고성 강화
람다의 배포는 초당 800Gb/s로 작동하는 144개 포트를 갖춘 엔비디아 포토닉스 스위치를 사용합니다. 액체 냉각이 스위치 칩과 광학 엔진에서 열을 제거합니다.
회사는 기존 플러저블 광학 소자의 51°C와 비교하여 광학 소자의 중앙값 온도가 36°C라고 보고하며, 테스트를 통해 더 안정적인 신호 무결성을 확인했습니다.
엔비디아 포토닉스는 전기-광 변환을 스위치 칩에 더 가깝게 가져옵니다. 각 스위치에는 광학 엔진에 빛을 공급하는 18개의 분리 가능한 외부 광원이 있습니다. 광학 엔진은 칩과 동일한 패키지 옆에 위치하며, 전기 신호를 빛으로 변환하여 클러스터의 부분 간에 데이터를 광섬유를 통해 전송합니다.
기술자는 전통적인 플러저블 광학 소자가 레이저 고장 시 전체 모듈을 교체해야 하는 것과 달리, 현장에서 광원 모듈을 교체할 수 있습니다.
공동 패키징은 인치 단위에서 밀리미터 단위로 전기 경로를 단축하여 신호 손실을 줄입니다. 또한 리타이머 칩의 필요성을 제거하여 전력 소비와 신호 경로 내 부품 수를 모두 줄입니다.
엔비디아 포토닉스를 탐색하고 람다의 배포 발표를 읽어보세요.
📄 원문 (English)
To train an AI model, thousands of GPUs have to work together, requiring a network that’s fast, efficient and resilient.
Lambda is tackling the network piece of the puzzle with NVIDIA Photonics co-packaged optics (CPO) switches. The cloud provider is using the switches to connect NVIDIA GB300 NVL72 racks with more than 10,000 GPUs, delivering lower power, higher resiliency and longer mean time between interruptions (MTBI) to an AI factory at scale.
“Networking has to keep pace with the demands of increasingly large AI clusters,” said Dave Ward, president of cloud services at Lambda. “Bringing co-packaged optics into a deployment of this scale is an important step toward building the infrastructure needed to support the next generation of AI.”
In the company’s tests using the switches, network latency — the time needed for moving data — dropped by about 4% at rack scale and by up to about 10% at pod scale. Across rack, scalable unit and pod configurations, the network maintains the same throughput as conventional pluggable optics.
Delivering Power Efficiency and Resiliency at Scale
Improving power efficiency and resiliency matters because the network sits at the center of AI factory productivity.
In a large training job, one interrupted link can stall thousands of GPUs. With agentic inference, one network disruption can introduce cascading latency effects on many agents. Every interruption costs time, and every watt spent on networking is a watt not available for compute.
NVIDIA Photonics addresses both power efficiency and resiliency. By replacing pluggable transceivers with co-packaged optical engines on the switch package, it delivers up to 5x better power efficiency and up to 15x higher reliability than conventional pluggable optics. It also uses 4x fewer lasers, which means fewer components that can fail.
Cooler Optics, Replaceable Light Sources Increase Resiliency
Lambda’s deployment uses NVIDIA Photonics switches, each with 144 ports running at 800Gb/s. Liquid cooling carries heat away from the switch chip and optical engines.
The company reports a median optics temperature of 36°C, compared with 51°C for conventional pluggable optics, and its tests find more stable signal integrity.
NVIDIA Photonics also brings the electrical-to-optical conversion closer to the switch chip. Each switch has 18 removable external light sources, which supply light to the optical engines. Optical engines sit alongside the chip on the same package and convert electrical signals into light that carries data over fiber between parts of the cluster.
Technicians can replace the light-source modules in the field, unlike traditional pluggable optics, which require replacing the entire module if a laser fails.
Co-packaging shortens the electrical path from inches to millimeters, which reduces signal loss. It also removes the need for retimer chips, cutting both power draw and the number of parts in the signal path.
Explore NVIDIA Photonics and read Lambda’s deployment announcement.
▶ 칩 라이브 24 홈으로 — chiplive24.com