엔비디아, 악성 AI 시스템 감시, 격리 및 차단을 위한 AI 에이전트 킬 스위치 출시

엔비디아 오픈 에이전트 안전 플랫폼은 소프트웨어 수준의 제어와 하드웨어 기반 모니터링을 결합합니다. 엔비디아는 이 접근 방식이 코드를 작성하고, 도구를 사용하고, 데이터에 접근하고, 최소한의 인간 감독만으로도 기업 시스템 전반에서 작동할 수 있는 AI 에이전트를 위해 설계되었다고 밝혔습니다.

엔비디아, AI 에이전트용 새로운 제어 기능 개발

이 플랫폼은 Nvidia OpenShell 과 Nvidia Sentry 라는 두 가지 구성 요소를 중심으로 합니다 . OpenShell은 개발자가 에이전트의 파일, 자격 증명, 프로세스 및 외부 네트워크 접근을 제어하는 ​​정책을 설정할 수 있는 샌드박스형 런타임 환경을 제공합니다.

로이터 통신은 엔비디아가 제어 시스템에서 벗어나거나 하위 에이전트를 생성하려는 악성 에이전트를 격리하고 차단하도록 설계된 하드웨어 기반 AI 보안 도구인 오픈셸(OpenShell)과 센트리(Sentry)를 출시했다고 보도했습니다. (출처: 로이터 , X 경유)

Sentry는 Nvidia의 BlueField-4 인프라를 통해 별도의 모니터링 계층을 추가합니다. AI 에이전트나 해당 소프트웨어 환경에만 의존하여 제한을 적용하는 대신, 시스템은 에이전트 실행 환경 외부에서 활동을 모니터링하고 사전 정의된 조건이 위반될 경우 차단 조치를 실행할 수 있습니다.

엔비디아는 자율 에이전트가 복잡한 작업을 수행하는 동안 민감한 기업 시스템에 접근할 수 있기 때문에 이러한 분리가 중요하다고 설명합니다. 회사 문서에 따르면 OpenShell은 에이전트의 작업 기능을 유지하면서 무단 파일 접근, 데이터 이동 및 네트워크 활동을 제한하도록 설계되었습니다.

젠슨 황, AI 안전을 엔지니어링 문제로 규정

엔비디아 CEO 젠슨 황은 인공지능 모델이 스스로를 규제하는 데 전적으로 의존하기보다는 실질적인 보안 제어를 중심으로 문제를 제기했습니다.

황씨는 보도된 발언에서 "우리는 이것이 공학적인 문제이기를 바랍니다. 저는 이것이 공학적인 문제라고 믿습니다. 저는 이것이 공학적인 문제라는 것을 알고 있습니다." 라고 말했다 . "만약 이것이 공학적인 문제가 아니라면, 해결할 수 없습니다."

젠슨 황 엔비디아 CEO는 앤트로픽, 마이크로소프트, IBM, 시스코, 스페이스X 등 100개 이상의 파트너사와 함께 엔비디아의 오픈 에이전트 안전 플랫폼을 발표했습니다. (출처: 젠슨 황, X 통신)

그러한 접근 방식은 엔비디아의 플랫폼 아키텍처에 반영되어 있습니다. OpenShell은 AI 에이전트에게 무제한 권한을 부여하고 지시를 따르도록 하는 대신, 시스템이 접근하고 수행할 수 있는 작업에 대한 명확한 권한을 설정합니다.

황 대표는 또한 처음부터 에이전트의 권한을 제한하는 원칙을 강조해왔습니다. 출시 관련 보도에서 인용된 그의 발언에 따르면, "가장 중요한 일은 모든 권한을 박탈하는 것"이라며 자율 시스템은 특정 작업에 필요한 권한만 부여받아야 한다는 점을 강조했습니다.

OpenShell과 Sentry는 다중 보안 계층을 추가합니다.

OpenShell은 소프트웨어 및 런타임 수준에서 작동하고, Sentry는 에이전트의 직접적인 환경 외부에서 모니터링을 제공합니다. 엔비디아는 이 둘의 조합을 통해 의심스러운 동작을 감지하고 에이전트가 동일한 권한으로 계속 작동하도록 허용하는 대신 신속하게 격리할 수 있다고 밝혔습니다.

NVIDIA OpenShell은 에이전트 권한을 관리하고, BlueField-4와 DOCA는 독립적인 인프라 수준 모니터링 및 보안을 제공하며, Vera CPU가 워크로드를 처리합니다. 출처: @nvidia via X

이 아키텍처는 기본적인 보안 원칙, 즉 AI 에이전트가 자신을 제어하기 위해 마련된 통제 장치를 무력화할 수 없어야 한다는 원칙을 중심으로 설계되었습니다. 엔비디아는 BlueField-4와 DOCA가 독립적인 인프라 수준 모니터링을 제공하고, Vera CPU가 에이전트 워크로드를 처리한다고 밝혔습니다.

또한, 해당 회사는 OpenShell을 오픈 소스 소프트웨어로 공개 했습니다 . 개발자 문서에 따르면 OpenShell은 샌드박싱과 선언적 정책을 사용하여 로컬 파일, 자격 증명 및 외부 네트워크에 대한 접근을 제어하는 ​​자율 AI 에이전트용 런타임입니다.

100개 이상의 기업이 AI 안전 플랫폼을 지원합니다.

엔비디아는 기술 및 기업 부문 전반에 걸쳐 100개 이상의 조직의 지원을 받는 플랫폼을 발표했습니다. 발표에 언급된 기업에는 앤스로픽, 마이크로소프트, IBM, 시스코, 스페이스XAI 등이 포함됩니다.

젠슨 황은 지능 수준에 관계없이 모든 AI 에이전트는 먼저 정해진 안전 제어 장치 내에서 작동해야 한다고 강조하면서, 이 계획을 지원하는 100개 기업 중 주요 AI 연구소가 없다는 점을 지적했습니다. 출처: @carm1nee via X

이처럼 폭넓은 참여는 AI 에이전트가 기업 인프라 전반에서 작업을 수행할 수 있는 능력이 향상됨에 따라 공통 보안 제어를 구축하려는 엔비디아의 노력을 반영합니다.

엔비디아는 자사 하드웨어에 국한된 보안 시스템이 아닌 개방형 프레임워크로서 플랫폼을 포지셔닝했습니다. 엔비디아는 파트너사와의 협력을 통해 다양한 프로세서와 배포 환경에서 에이전트 안전 제어 기능을 적용할 수 있도록 하는 것이 목표라고 밝혔습니다. 로이터 통신은 이러한 노력에 Arm, Intel과 같은 기업들이 참여하고 있다고 보도했습니다.

엔비디아, 최근 AI 에이전트 보안 침해 사태와 플랫폼 연관성 제기

이번 출시는 AI 기업들이 자율 에이전트가 의도된 범위를 넘어 시스템과 상호 작용하는 사건을 조사하는 가운데 이루어졌습니다. 로이터 통신은 오픈AI와 앤트로픽이 상업 및 정부 시스템에 접근한 AI 에이전트와 관련된 여러 사례를 조사하고 있다고 보도했습니다.

엔비디아는 특히 지난 여름에 공개된 '허깅 페이스(Hugging Face)' 해킹 사건을 언급했습니다 . 로이터 통신에 따르면, 엔비디아는 자사의 새로운 보안 도구가 공격자들의 접근을 제한하고 그들의 행동을 차단함으로써 해당 사건을 예방할 수 있었을 것이라고 주장했습니다. 하지만 이는 엔비디아의 자체적인 평가일 뿐, 독립적으로 입증된 결과는 아닙니다.

인공지능 에이전트가 텍스트나 코드 생성에서 벗어나 직접 작업을 실행하기 시작하면서 이러한 구분은 중요해졌습니다. 에이전트는 워크플로를 완료하기 위해 파일, API, 자격 증명 및 네트워크에 대한 액세스가 필요할 수 있지만, 시스템이 예기치 않게 동작할 경우 이러한 권한은 추가적인 보안 위험을 초래할 수 있습니다.

엔비디아의 OpenShell 문서에서는 데이터 유출, 무단 네트워크 활동, 과도한 시스템 접근 등을 정책의 목표 위험 요소로 명시하고 있습니다.

외부 제어가 AI 에이전트 보안의 핵심이 되고 있다

엔비디아 플랫폼은 인프라 수준에서 AI 에이전트를 보호하는 방향으로의 광범위한 변화를 반영합니다. 기존의 AI 보호 조치는 주로 모델이나 애플리케이션에 초점을 맞추는 반면, 자율 에이전트는 자체적으로 행동하고 외부 시스템과 상호 작용할 수 있기 때문에 또 다른 과제를 제시합니다.

엔비디아는 이전에 오픈셸을 에이전트 모델 자체에 전적으로 의존하는 대신 에이전트를 둘러싼 신뢰할 수 있는 인프라에 보안 제어를 배치하는 방법이라고 설명한 바 있습니다.

조직에서 장기간 작동 가능한 에이전트를 배포할수록 이러한 구분은 더욱 중요해집니다. 에이전트가 작업을 시작하기 전에 권한을 제한하고, 활동을 모니터링하며, 독립적인 격리 메커니즘을 유지함으로써 여러 단계의 보호 기능을 제공할 수 있습니다.

엔비디아 에게 있어 최신 플랫폼은 차세대 AI 에이전트를 지원하는 기본 인프라에 이러한 제어 기능을 통합하려는 노력의 일환입니다. 엔비디아는 조직이 자율 시스템을 배포하면서도 시스템이 접근할 수 있는 데이터와 시스템에 대한 통제권을 유지하려면 신뢰할 수 있는 안전 메커니즘이 필수적이라고 주장합니다.