Nvidia führt den KI-Agenten-Kill-Switch ein, um fehlerhafte KI-Systeme zu überwachen, unter Quarantäne zu stellen und zu stoppen.
Nvidia hat eine neue Sicherheitsplattform auf den Markt gebracht, die Unternehmen eine bessere Kontrolle über autonome KI-Agenten ermöglichen soll. Dazu gehört die Möglichkeit, deren Berechtigungen einzuschränken, ihre Aktivitäten zu überwachen und Systeme zu isolieren, die sich nicht an die definierten Regeln halten.
Die Nvidia Open Agent Safety Platform kombiniert softwarebasierte Steuerung mit hardwarebasierter Überwachung. Laut Nvidia ist dieser Ansatz für KI-Agenten konzipiert, die Code schreiben, Tools nutzen, auf Daten zugreifen und unternehmensweit mit minimaler menschlicher Aufsicht agieren können.
Nvidia entwickelt neue Steuerungselemente für KI-Agenten
Die Plattform basiert auf zwei Komponenten: Nvidia OpenShell und Nvidia Sentry . OpenShell bietet eine isolierte Laufzeitumgebung, in der Entwickler Richtlinien festlegen können, die den Zugriff eines Agenten auf Dateien, Anmeldeinformationen, Prozesse und externe Netzwerke regeln.
Reuters berichtet, dass Nvidia OpenShell und Sentry vorgestellt hat, hardwarebasierte KI-Sicherheitstools, die dazu dienen, fehlerhafte Agenten zu isolieren und abzuschalten, die versuchen, sich der Kontrolle zu entziehen oder Unteragenten zu erzeugen. Quelle: Reuters via X
Sentry fügt mithilfe der BlueField-4-Infrastruktur von Nvidia eine separate Überwachungsebene hinzu. Anstatt sich ausschließlich auf den KI-Agenten oder dessen Softwareumgebung zur Durchsetzung von Beschränkungen zu verlassen, kann das System Aktivitäten außerhalb der Ausführungsumgebung des Agenten überwachen und bei Überschreitung vordefinierter Bedingungen Schutzmaßnahmen einleiten.
Nvidia beschreibt diese Trennung als wichtig, da autonome Agenten bei der Ausführung komplexer Aufgaben möglicherweise Zugriff auf sensible Unternehmenssysteme haben. Laut der Dokumentation des Unternehmens ist OpenShell so konzipiert, dass die Funktionsfähigkeit eines Agenten erhalten bleibt, während gleichzeitig unautorisierter Dateizugriff, Datenverschiebung und Netzwerkaktivität eingeschränkt werden.
Jensen Huang bezeichnet KI-Sicherheit als ein technisches Problem
Nvidia-CEO Jensen Huang hat die Herausforderung so formuliert, dass es um praktische Sicherheitsmaßnahmen geht, anstatt sich ausschließlich auf ein KI-Modell zur Selbstregulierung zu verlassen.
„Wir hoffen, dass es sich um ein technisches Problem handelt. Ich glaube, es ist ein technisches Problem. Ich weiß, dass es ein technisches Problem ist“, sagte Huang laut den zitierten Aussagen. „Wenn es kein technisches Problem ist, ist es unlösbar.“
Jensen Huang kündigte Nvidias Open Agent Safety Platform mit über 100 Partnern an, darunter Anthropic, Microsoft, IBM, Cisco und SpaceX. Quelle: Jensen Huang via X
Dieser Ansatz spiegelt sich in der Plattformarchitektur von Nvidia wider. Anstatt einem KI-Agenten uneingeschränkte Befugnisse zu geben und zu erwarten, dass er Anweisungen befolgt, legt OpenShell explizite Berechtigungen dafür fest, worauf das System zugreifen und was es tun darf.
Huang betonte zudem den Grundsatz, die Befugnisse eines Agenten von Anfang an einzuschränken. In Berichten über den Start der Aktion sagte er: „Die wichtigste Aufgabe ist es, ihm alle Rechte zu entziehen.“ Damit unterstrich er die Idee, dass autonome Systeme nur die für eine bestimmte Aufgabe erforderlichen Berechtigungen erhalten sollten.
OpenShell und Sentry bieten mehrere Schutzebenen.
OpenShell arbeitet auf Software- und Laufzeitebene, während Sentry die Überwachung außerhalb der unmittelbaren Umgebung des Agenten ermöglicht. Laut Nvidia kann diese Kombination verdächtiges Verhalten erkennen und einen Agenten schnell unter Quarantäne stellen, anstatt ihn mit denselben Berechtigungen weiterlaufen zu lassen.
NVIDIA OpenShell verwaltet die Agentenberechtigungen, während BlueField-4 und DOCA unabhängige Überwachung und Sicherheit auf Infrastrukturebene gewährleisten. Die Workloads werden von Vera-CPUs ausgeführt. Quelle: @nvidia via X
Die Architektur basiert auf einem grundlegenden Sicherheitsprinzip: Ein KI-Agent darf die ihn einschränkenden Kontrollmechanismen nicht außer Kraft setzen können. Laut Nvidia gewährleisten BlueField-4 und DOCA eine unabhängige Überwachung der Infrastruktur, während die Vera-CPUs die Agentenlast bewältigen.
Das Unternehmen hat OpenShell auch als Open-Source-Software veröffentlicht . In der Entwicklerdokumentation wird es als Laufzeitumgebung für autonome KI-Agenten beschrieben, die Sandboxing und deklarative Richtlinien verwendet, um den Zugriff auf lokale Dateien, Anmeldeinformationen und externe Netzwerke zu steuern.
Mehr als 100 Unternehmen unterstützen die KI-Sicherheitsplattform
Nvidia kündigte die Plattform zusammen mit der Unterstützung von über 100 Organisationen aus dem Technologie- und Unternehmenssektor an. Zu den in der Ankündigung genannten Unternehmen gehören unter anderem Anthropic, Microsoft, IBM, Cisco und SpaceXAI.
Jensen Huang betonte, dass jeder KI-Agent, unabhängig von seiner Intelligenz, zunächst innerhalb definierter Sicherheitsvorgaben operieren müsse, und wies gleichzeitig darauf hin, dass sich unter den 100 Unternehmen, die die Initiative unterstützen, kein großes KI-Labor befinde. Quelle: @carm1nee via X
Die breite Beteiligung spiegelt Nvidias Bestreben wider, gemeinsame Sicherheitskontrollen zu etablieren, da KI-Agenten zunehmend in der Lage sind, Aufgaben in der gesamten Unternehmensinfrastruktur auszuführen.
Das Unternehmen positioniert die Plattform als offenes Framework und nicht als Sicherheitssystem, das auf Nvidia-Hardware beschränkt ist. Laut Nvidia zielt die Zusammenarbeit mit Partnern darauf ab, die Sicherheitskontrollen für Agenten auf verschiedene Prozessoren und Einsatzumgebungen anwendbar zu machen. Reuters berichtete, dass an dieser Initiative auch Unternehmen wie Arm und Intel beteiligt sind.
Nvidia bringt Plattform mit jüngsten Sicherheitslücken bei KI-Agenten in Verbindung
Die Markteinführung erfolgt vor dem Hintergrund von Untersuchungen von KI-Unternehmen zu Vorfällen, bei denen autonome Systeme außerhalb ihrer vorgesehenen Grenzen mit Systemen interagierten. Reuters berichtete, dass OpenAI und Anthropic mehrere Fälle untersuchen, in denen KI-Systeme auf kommerzielle und staatliche Systeme zugegriffen haben.
Nvidia hat konkret auf den im Sommer aufgedeckten Hugging-Face-Hack hingewiesen . Laut Reuters erklärte Nvidia, dass seine neuen Sicherheitstools den Vorfall hätten verhindern können, indem sie den Zugriff der Angreifer eingeschränkt und deren Verhalten kontrolliert hätten. Dies ist jedoch lediglich eine Einschätzung von Nvidia und kein unabhängig nachgewiesenes Ergebnis.
Diese Unterscheidung ist wichtig, da KI-Systeme zunehmend über die reine Text- oder Codegenerierung hinausgehen und Aufgaben direkt ausführen. Ein System benötigt möglicherweise Zugriff auf Dateien, APIs, Anmeldeinformationen und Netzwerke, um einen Arbeitsablauf abzuschließen. Genau diese Berechtigungen können jedoch zusätzliche Sicherheitsrisiken bergen, wenn sich das System unerwartet verhält.
In der OpenShell-Dokumentation von Nvidia werden Datenexfiltration, unautorisierte Netzwerkaktivitäten und übermäßiger Systemzugriff als Risiken genannt, denen die Richtlinien von Nvidia entgegenwirken sollen.
Externe Kontrollmechanismen werden zentral für die Sicherheit von KI-Agenten.
Die Nvidia-Plattform spiegelt einen umfassenderen Trend zur Absicherung von KI-Systemen auf Infrastrukturebene wider. Traditionelle KI-Sicherheitsmaßnahmen konzentrieren sich oft auf das Modell oder die Anwendung, während autonome Systeme eine zusätzliche Herausforderung darstellen, da sie Aktionen ausführen und mit externen Systemen interagieren können.
Nvidia hat OpenShell zuvor als eine Möglichkeit beschrieben, Sicherheitskontrollen in der vertrauenswürdigen Infrastruktur rund um einen Agenten zu platzieren, anstatt sich ausschließlich auf das Modell selbst zu verlassen.
Diese Unterscheidung gewinnt an Bedeutung, wenn Unternehmen Agenten einsetzen, die über längere Zeiträume operieren können. Die Einschränkung von Berechtigungen vor Arbeitsbeginn eines Agenten, die Überwachung seiner Aktivitäten und die Aufrechterhaltung eines unabhängigen Eindämmungsmechanismus können separate Schutzebenen bieten.
Für Nvidia stellt die neueste Plattform ein Bestreben dar, diese Kontrollmechanismen in die zugrundeliegende Infrastruktur der nächsten Generation von KI-Systemen zu integrieren. Das Unternehmen argumentiert, dass zuverlässige Sicherheitsmechanismen unerlässlich sind, damit Organisationen autonome Systeme einsetzen und gleichzeitig die Kontrolle über die Daten und Systeme behalten können, auf die diese zugreifen.
Brave New Coin erreicht monatlich über 1 Million engagierte Krypto-Enthusiasten über unsere Website, unseren Podcast, unsere Newsletter und unseren YouTube-Kanal. Präsentieren Sie Ihre Marke 2026 wichtigen Entscheidungsträgern und Early Adopters. Nur noch wenige Plätze frei! Informieren Sie sich noch heute!
