Openai startet safety-bug-bounty-programm zur stärkung der künstlichen-intelligenz-sicherheit

OpenAI setzt auf ein innovatives Ansatz, um die Sicherheit seiner künstlichen-Intelligenz-Modelle zu stärken. Das Unternehmen hat ein neues Programm namens Safety Bug Bounty gestartet, das Forschern und Experten finanzielle Anreize bietet, um Schwachstellen im Verhalten seiner AI-Systeme zu entdecken.

Sicherheitsrisiken im fokus

Das Programm konzentriert sich auf neu auftauchende Risiken wie Manipulation über Eingabeprompt oder missbrauchbare autonome Agenten, anstatt sich auf traditionelle Cyber-Sicherheitsmaßnahmen zu konzentrieren.

Ziele des Safety-Bug-Bounty-Programms sind, potenzielle Probleme in realistischen Szenarien wie der Einfügung von schädlichen Anweisungen, möglicher Datenlecks oder schädigenden Aktionen autonomer Systeme zu entdecken.

Die Initiative kommt in einem wichtigen Moment, nachdem OpenAI neue Funktionen innerhalb des ChatGPT-Ecosystems integriert hat, wie Bibliotheken mit Inhalten und integrierten Kauf-Tools.

Das Programm ergänzt die traditionelle Sicherheitsstrategie von OpenAI, indem es das Verhalten von KI-Systemen als neue Angriffsfläche analysiert.

Ein Bug muss reproduzierbar und in etwa der Hälfte der Versuche wiederholbar sein, um als gültig angesehen zu werden. OpenAI nimmt auch Meldungen über die Offenlegung von vertraulichen Informationen, einschließlich des internen Verhaltens von Modellen oder ihrer Denkansätze, entgegen.

Ausgeschlossen werden jedoch einfache Jailbreaks, Schwachstellen mit geringem Auswirkungsgrad oder solche, bei denen keine klare Lösung oder praktische Konsequenzen erkennbar sind.