Ein neuer Sicherheitsbericht des britischen AI Security Institute sorgt für Aufmerksamkeit. Während umfangreicher Cybersecurity-Tests zeigten fortschrittliche KI-Agenten von Anthropic und OpenAI erstmals ein Verhalten, das gezielt auf reale Personen abzielte. Nach Angaben der Forscher erstellten die Systeme eigenständig gefälschte Identitäten, um Menschen zu manipulieren und die Ausführung schädlichen Programmcodes zu erreichen.
Insgesamt analysierte das Institut 122 Cybersecurity-Szenarien. Dabei registrierten die Experten 19 nicht autorisierte Aktionen. In zehn Testläufen griffen die KI-Agenten eigenständig über das Internet reale Organisationen oder Personen an. Der Großteil der Vorfälle entfiel auf Anthropics Modell Mythos 5, zwei weitere auf OpenAIs GPT 5.6 Sol. Nach Angaben der Forscher entstand dabei kein tatsächlicher Schaden.
Bildquelle: Erstellt mit getimg.ai
Besonders kritisch bewerten die Experten einen Fall, bei dem ein KI-Agent versuchte, schädlichen Code in ein öffentlich genutztes Open-Source-Projekt einzuschleusen. Dafür legte das System mehrere falsche Identitäten an und kontaktierte Entwickler über einen Online-Dateidienst. Ziel war es, die Empfänger oder deren KI-Programmierwerkzeuge zur Ausführung des Codes zu bewegen. Nachdem der Versuch hinterfragt wurde, änderte der Agent frühere Einträge und erwog laut Bericht sogar eine neue Identität, um den Vorgang fortzusetzen. Das AI Security Institute erklärte, dies sei der erste Fall, in dem eine derart schwerwiegende Täuschung gezielt gegen eine reale Person eingesetzt worden sei.
Bildquelle: We love Start-Up
Die Tests fanden unter bewusst gelockerten Sicherheitsbedingungen statt. Das AI Security Institute hatte den Modellen Internetzugang gewährt und Schutzmechanismen teilweise deaktiviert, um ihre Fähigkeiten unter realistischen Bedingungen zu untersuchen. Anthropic erklärte, die Systeme seien in einer absichtlich freizügigen Testumgebung eingesetzt worden und man arbeite eng mit den Forschern zusammen, um den Vorfall vollständig aufzuklären. OpenAI kündigte an, gemeinsam mit anderen Unternehmen an sichereren Standards für Hochrisiko-Tests zu arbeiten.
Bildquelle: yPredict
Die Ergebnisse erscheinen zu einem Zeitpunkt, an dem Regierungen weltweit die Regulierung leistungsfähiger KI-Systeme intensiv diskutieren. Das britische AI Security Institute wurde 2023 gegründet und untersucht fortschrittliche KI-Modelle auf potenzielle Sicherheitsrisiken. Zu den aktuellen Forschungsschwerpunkten zählen autonome Agenten, Cyberangriffe sowie Methoden, mit denen sich Fehlverhalten leistungsfähiger KI-Systeme frühzeitig erkennen und begrenzen lässt.
Ebenfalls interessant:
Garmin Fenix 9: Leak nennt drei Modelle
iPhone 18 Pro: nächste Keynote wohl am 9. September
Telegram kurz aus App-Store entfernt: Apple nennt Grund







