Auf den Punkt: Microsoft veröffentlichte zwei Open-Source-Tools: RAMPART zur Sicherheitsprüfung von KI-Agenten während der Entwicklung und Clarity als KI-Denkpartner für frühe Designentscheidungen. Zusammen sollen sie KI-Sicherheit von einer einmaligen Überprüfung zu kontinuierlichen Prozessen machen.
Microsoft hat zwei neue Open-Source-Tools namens RAMPART und Clarity vorgestellt, um Entwicklern bei der umfassenden Sicherheitsprüfung von KI-Agenten zu helfen. Diese Werkzeuge sollen Sicherheitsrisiken bereits während der Entwicklungsphase aufdecken und mitigieren.
Microsoft hat zwei innovativen Open-Source-Tools vorgestellt, die Entwicklern helfen sollen, die Sicherheit von KI-Agenten effektiver zu testen. RAMPART (Risk Assessment and Measurement Platform for Agentic Red Teaming) funktioniert als ein Pytest-natives Sicherheits- und Testframework, mit dem Entwickler Sicherheitstests für KI-Agenten schreiben und ausführen können. Das Tool deckt sowohl adversarische als auch wohlwollende Probleme sowie verschiedene Schadenskategorien ab.
Mit RAMPART können Entwickler Testfälle erstellen, um einen KI-Agenten anzugreifen oder zu testen und mögliche Sicherheitsverletzungen zu erkunden. Dies umfasst Cross-Prompt-Injektionen, bei denen nicht vertrauenswürdige Daten auf indirektem Wege über Datenquellen wie E-Mails, Dateien oder Webseiten in ein KI-System gelangen, sowie unbeabsichtigte Verhaltensänderungen und Datenverluste. RAMPART bewertet die Testergebnisse und erstellt einen Bericht. Das Tool baut auf PyRIT (Python Risk Identification Tool) auf, das Microsoft bereits vor über zwei Jahren veröffentlichte.
Clarity wird von Microsoft als „strukturierter Sparringspartner” beschrieben und hilft Entwicklern bereits vor der ersten Zeile Code, die richtige Vorgehensweise zu finden. Das KI-Tool fungiert als “Gedankenpartner mit kritischer Stimme” und leitet Entwickler durch Problemklärung, Lösungserkundung, Fehleranalyse und Entscheidungsverfolgung.
Mit der öffentlichen Freigabe dieser Tools möchte Microsoft erreichen, dass wichtige Entscheidungen früh in der Softwareentwicklung getroffen werden, damit potenzielle Probleme – wie etwa die Zugriffsbefugnisse eines Agenten – bereits vor der Systementwicklung gelöst sind. Ram Shankar Siva Kumar, Leiter des AI Red Team bei Microsoft, betont: „Wir wollten Produktmanagern und Ingenieuren eine Möglichkeit geben, ihre Annahmen zu testen, wenn Kursänderungen noch günstig sind und richtige Gespräche Monate an Überarbeit sparen können.”
Microsoft betont, dass diese Tools auch dazu beitragen sollen, Vorfälle reproduzierbar und Lösungen überprüfbar zu machen sowie die Erkenntnisse aus Red-Teaming-Übungen in nutzbare technische Ressourcen umzuwandeln. Während PyRIT für Black-Box-Tests durch Sicherheitsforscher nach der Systementwicklung optimiert ist, wurde RAMPART für Ingenieure während der Systementwicklung konzipiert. Clarity trägt dazu bei, Designabsichten zu klären und Annahmen festzuhalten. Zusammen verschieben diese Tools die KI-Sicherheit von einer einmaligen Überprüfung zu lebenden Dokumenten, die Entwickler während des gesamten Lebenszyklus nutzen können.