Sicherheitsforscher aus Großbritannien haben eine KI in einem Test bei einem Versuch erwischt, die in Eigeninitiative eine Schwachstelle in öffentlich zugängliche Software einzuschleusen. Um dieses Vorhaben umzusetzen, habe das KI-Modell Mythos 5 von Anthropic sogar versucht, per E-Mail einen zuständigen Menschen zu manipulieren.
Das KI-Sicherheitsinstitut des britischen Ministeriums für Wissenschaft, Innovation und Technologie hatte KI-Modelle von Anthropic und von OpenAI in seinen Tests der Cyberangriffsfähigkeiten mit Absicht den Zugang zum Internet gewährt. Sie seien aber davon ausgegangen, dass die KI sich nur Software-Werkzeuge aus dem Internet holen würde, um die gestellte Aufgabe zu erfüllen. Man habe „nicht vorhergesehen„, dass das KI-Modell von Anthropic den Internet-Zugang für Aktivisten ausnutzen würde, die sich gegen Menschen stellen würde. Die Forscher räumten ein, dass sie das Vorgehen erst nachträglich über eine Auswertung des Datenverkehrs entdeckt hatten. In weiteren Tests wollen sie die Datenströme dann besser in Echtzeit beobachten.
In dem Test legte das KI-Modell von Anthropic demnach selbst ein Konto auf GitHub an und versuchte dort, in einem öffentlich zugänglichen Projekt Programmcode mit einer absichtlich eingebrachten Schwachstelle unterzubringen. Um Betreuer der Software zu überzeugen, habe die KI dann Fake-Identitäten erstellt, über die sie dann mit ihnen kommunizierte. Dazu hätten auch sogenannte Phishing-Mails gehört, mit denen Angreifer an Logindaten gelangen wollen. Als dann der bösartige Programmiercode aufgefallen sei, habe das KI-Modell dann alles als einen aufrichtigen Fehler darstellen wollen und dann versucht, die Schwachstelle in vermeintlichen Korrekturen wieder unterzubringen.
In einer Reaktion wies Anthropic unter anderem darauf hin, dass dem KI-Modell in dem Test keine Einschränkungen zur Internet-Nutzung vorgegeben worden seien. Durch die fehlenden Leitplanken habe es sich anders verhalten als tatsächliche Software, argumentierte das Unternehmen.
Dem AI Security Institute (AISI) ist bisher unklar, ob die KI bei diesem Test verstanden hat, dass sie in der echten Welt agierte und nicht in einem Test-Umfeld. Dass die KI zur Lösung der Aufgabe öffentlich zugängliche Software manipulieren würde, kam für die Forscher jedenfalls überraschend.
Anthropic und OpenAI hatten in den vergangenen Wochen schon einräumen müssen, dass ihre KI-Modelle in Tests ungeplant in Computersysteme echter Unternehmen eingedrungen waren. Dies habe die schon seit Jahren bestehenden Sorgen vor Cyberattacken mithilfe von Künstlicher Intelligenz verstärkt.
Quelle: ZDF, dpa
