엔비디아 CEO 황제헌, "AI 능력과 안전은 하나다"
🇰🇷 한글 번역
엔비디아(NVDA)의 제슨 황(Jensen Huang) 최고경영자(CEO)가 엔비디아 GTC 베를린에서 디어드레 보사(Deirdre Bosa)와 함께 앉아 AI 안전성의 미래와 중요성에 대한 자신의 생각을 공유했다.
당신은 궁극적으로 방어 기술이 그 위험을 따라잡을 수 있다고 생각합니까? 우리는 우리 패널 중 하나에서 이 주제에 대해 논의했습니다. 음, 하지만 언제 그런 일이 일어나며, 사람들이 실제로 두려움을 느끼기 위해서는 무엇이 일어나야 합니까?
우리는 오픈 쉘(Open Shell)에 담겨 있는 철학을 적용해야 합니다. 그리고 그 원리는 기본적으로 다음과 같이 작동합니다. AI는 이러한 에이전트들이 자율 시스템이며, 컴퓨터에 자율 시스템이나 자율 에이전트가 있다면, 먼저 무신뢰(Zero Trust) 원칙에서 시작해야 합니다. 최소한의 특권, 최소한의 접근 권한, 최소한의 도구 사용을 부여해야 합니다. 아마도 파일에 접근할 수는 있겠지만 파일을 삭제할 수는 없을 것입니다. 아마도 인터넷에 접근할 수는 있겠지만, 무언가를 외부로 전송할 수는 없을 것입니다. 그리고 이렇게 지정할 수 있는 다양한 사항들이 많습니다. 우리가 필요한 것은 에이전트와 자율 시스템을 배포하는 방법에 관한 이러한 관행이 즉시 전 산업적으로 채택되는 것입니다.
음, 그리고 저는 당신이 만 1세 아이를 플레이펜에 넣고 망치처럼 그들에게 해를 끼칠 수 있는 물건을 주지 않는다는 비유를 사용한 것을 들은 적이 있습니다. 하지만 이제 많은 사람들이 익숙해져 있는 예시는 에이전트나 에이전트 무리가 그 플레이펜이나 샌드박스를 탈출하는 사례입니다. 그것이 신뢰에 대한 내러티브에 얼마나 큰 피해를 입혔는지, 그리고 그것이 단발성 사건인지 아니면 이러한 일이 더 자주 발생할 것으로 예상하는지 궁금합니다.
그것은 일어나지 말았어야 했고, 일어나지 않아도 됩니다. 네, 일어나지 말았어야 했고, 일어나지 않아도 됩니다. 만약 오픈 쉘이 사용되었다면, 아마도 그런 일은 일어나지 않았을 것입니다. 그리고 허깅페이스(Hugging Face)는 실제로 연습용 시뮬레이터를 개발했고, 만약 오픈 쉘이 존재했다면 그들의 웹사이트가 그러한 방식으로 공격받지 않았을 것이라고 결론 내렸습니다. 따라서 저는 이제 그 기술이 존재한다고 생각합니다. 무신뢰 환경에서 소프트웨어를 제공하는 방법론은 이미 오랫동안 존재해 왔습니다. 우리는 그 기회를 활용해야 합니다. 따라서 우리는 기존 기술을 바탕으로 구축하고, 새로운 기술도 일부 창출해야 합니다. 그리고 안전성을 고려하는 방식은 우리가 AI 안전성을 가속화해야 한다는 것입니다. 그리고 저에게 있어 안전 기술과 능력은 본질적으로 동일합니다. 어떻게 안전하지 않은 자동차가 있을 수 있겠습니까? 따라서 그것이 얼마나 뛰어난 능력을 갖추었든, 안전해야 합니다. 이 두 가지는 정말로 하나입니다. 따라서 미래에 이러한 AI 능력을 개발함에 따라 안전성도 함께 따라올 것입니다.
이것은 매우 당신의 철학이며, 엔비디아의 철학입니다. 당신은 다른 산업계가 동일한 초점을 가지고 있다고 믿습니까? 즉, 능력을 추구하면서도 그 과정에서 안전성을 함께 고려하는 것 말입니다.
네, 저는 그렇게 생각합니다. 음, 보세요. 오픈 쉘이 발표된 이후, 우리는 이를 지지하는 100개 이상의 회사를 보유하고 있습니다. 저는 특히 만족스러운 한 가지 협력을 강조했는데, 그것은 앤트로픽(Anthropic)이 엔비디아와 협력하여 클로드(Claude) 에이전트, 즉 클로드가 관리하는 에이전트를 만들기 위해 오픈 쉘을 사용하는 것입니다. 정말 뛰어난 작업입니다. 우리는 모든 연구소와 모든 운영체제 회사들과 협력하고 있습니다.
📄 원문 (English)
Nvidia (NVDA) CEO Jensen Huang sits down with Deirdre Bosa at Nvidia GTC Berlin to share his thoughts on the future and importance of AI safety.
Do you think that ultimately, you know, defenses can keep up with that risk? We talked about this in one of our panels. Um, but like when does that happen and what needs to happen for people to actually feel sick?
We should apply the philosophy that that that uh is captured in open shell instantly and basically it works like this. Uh AI is an these agents are autonomous systems and when you have an autonomous system on your computer, autonomous agent on your computer, you should first start with zero trust.
And give it minimum privileges, minimum access, minimum minimum use of tools. Maybe they could access a file, but they can't delete the file. Maybe they can access an internet, but they can't, you know, send stuff out. And so there's a lot of different things that you could specify. We just need that those practices about how to deploy agents and deploy autonomous systems has to be adopted across the board right away.
Um and I think I've heard you use the analogy of like if you have a one-year-old, you put them in a play pen and you don't give them a hammer or anything that's going to hurt them. But the example that many people are now familiar with are agents or swarm of agents escaping this play pen or escaping that sandbox. I wonder how much damage did that do to like the narrative to trust and was it a one-off or do you expect more of these things to happen?
It should it shouldn't have happened and it didn't have to Yeah, it shouldn't have happened, doesn't need to happen. If Open Shell was used, uh it probably wouldn't have happened and hugging face uh uh actually developed an exercise a simulator and they came to the conclusion if Open Shell existed, um their website wouldn't have been wouldn't have been attacked that way. And so I think the the the technology um now exists. The methodology of of uh delivering software in a zero trust environment. Um that methodology has existed for some time. We got to take advantage of that. And so I think we got to build on existing technology, we got to create some new technology. Um and uh the the way to think about safety is we have to accelerate AI safety. and and um safety technology and capability to me is one and the same. You know, how could you have a car that doesn't that's not safe? And so as much as it is capable, you want it to be safe. The two of them are really one and the same. And and so in the future as we develop these AI capabilities, safety will come along with it.
And this is very much your philosophy, Nvidia's philosophy. Do you trust the rest of the industry to have that same focus? Focus on capability but safety along the way?
Yeah, I think so. I mean, look, Open Shell was announced, we have over 100 companies supporting it. Um I highlighted one particular collaboration which is what I'm very happy about, which is Anthropic uh using Open Shell working with Nvi to create Claude um agents that Claude managed agents, uh really terrific work. We're working with all the labs and working with all the operating system companies
▶ 칩 라이브 24 홈으로 — chiplive24.com