KI von OpenAI macht sich bei Test selbständig und unternimmt Hackerangriff

Während eines Sicherheitstests haben sich KI-Modelle des Unternehmens OpenAI selbständig gemacht und einen Hackerangriff auf eine beliebte Programmierplattform unternommen. Es handele sich um einen "nie dagewesenen Cybervorfall", erklärte das Unternehmen aus San Francisco am Dienstag. OpenAI werde eine gemeinsame Untersuchung mit der betroffenen Online-Code-Bibliothek Hugging Face unternehmen. Das Bundesdigitalministerium sieht mit Blick auf die Fähigkeiten von KI-Modellen eine deutliche Veränderung der Bedrohungslage.

An dem Vorfall waren nach Angaben von OpenAI mehrere Modelle beteiligt, darunter das kürzlich veröffentlichte GPT-5.6 Sol sowie ein "noch leistungsfähigeres", noch vor der Veröffentlichung stehendes Modell. Das Unternehmen wollte die Hacking-Fähigkeiten der Modelle bemessen und gab ihnen dazu Aufgaben in einem streng kontrollierten digitalen Testumfeld. Zur Sicherheit war der Internetzugang eingeschränkt.

In der gesicherten Testumgebung hätten die KI-Modelle einen wesentlichen Teil ihrer Rechenleistung darauf verwendet, an einen offenen Internetzugang zu gelangen, erklärte OpenAI. Nachdem sie eine Verbindung zum Internet hergestellt hatten, entschieden sich die Modelle demnach dazu, die Plattform Hugging Face für ihre Aufgabe zu nutzen - die Plattform bietet eine große Sammlung von KI-Modellen, Datensätzen und anderen Informationen. Auf der Suche nach "geheimer Information", die ihnen helfen könnte, verketteten die OpenAI-Systeme mehrere Angriffswege, "darunter auch die Verwendung gestohlener Anmeldedaten", schilderte das KI-Unternehmen.

KI-Experte Anselm Küsters vom Freiburger Centrum für Europäische Politik erklärte, der Vorfall sei "kein Ausrutscher und keine Marketinginszenierung, sondern die praktische Bestätigung von etwas", das die Forschung seit Jahren theoretisch beschreibe. "Ein System, das darauf optimiert wird, eine Testaufgabe zu lösen, findet den kürzesten Weg zum Ziel, auch wenn dieser Weg aus Schummeln besteht."

Der Vorfall sei in mehrerer Hinsicht "verblüffend", sagte IT-Professor Hussein Abbass von der UNSW Canberra der Nachrichtenagentur AFP. Die KI habe das "interne System" von Hugging Face angegriffen, um dessen "eigene Schwachstellen auszunutzen". "Und das ist beängstigend."

GPT-5.6 und andere fortschrittliche Modelle wie die Mythos-Serie des OpenAI-Rivalen Anthropic haben Bedenken ausgelöst, dass sie Cybersicherheitsmaßnahmen durchbrechen könnten. Die beiden US-Unternehmen hatten die allgemeine Veröffentlichung der jüngsten Technologien deshalb zeitweise zurückhalten müssen.

Fortschrittliche KI befinde sich "normalerweise in den Händen von Menschen, die ethisch und verantwortungsbewusst" handelten, sagte Abbass. "Katastrophal" hingegen würde es, wenn sie an Menschen gelange, die Schaden anrichten wollten. Die Frage nach der Regulierung des KI-Sektors sei zu einem zentralen Thema geworden, und "wir brauchen gemeinsame Anstrengungen, um diese Situation in den Griff zu bekommen", fuhr Abbass fort.

Auch in Europa sorgt der OpenAI-Vorfall für Befürchtungen. Ein Sprecher des Bundesdigitalministeriums sprach am Mittwoch in Berlin von einem "Paradigmenwechsel": Die Fähigkeiten von KI-Modellen nähmen "massiv" zu, das verändere auch die "Bedrohungslage massiv".

Mehrere EU-Politiker forderten eine größere technologische Souveränität Europas gegenüber US-Konzernen. "Es darf nicht passieren, dass eine KI außerhalb des gesteckten Rahmens eigenständig agiert", sagte die FDP-Europaabgeordnete Svenja Hahn dem Nachrichtenmagazin "Spiegel". Der Vorfall zeige, "wie wichtig es ist, dass aus Europa eigene wirkmächtige KI kommt, damit unsere Unternehmen und Infrastruktur effektiv geschützt sind vor den Angriffen der nächsten KI-Generation".

Die Grünenpolitikerin Alexandra Geese sagte dem Magazin, der "eigenständige Einbruch von OpenAI-KI in ein anderes Unternehmen gefährdet unsere gesamte Wirtschaftsordnung und muss nach Artikel 55 der KI-Verordnung in Europa gemeldet werden" Jetzt zeige sich, "wie selbstbewusst das AI Office der Europäischen Kommission seine Zuständigkeit durchsetzt".

Hugging Face hatte den Angriff in der vergangenen Woche bekanntgegeben - aber dabei nicht OpenAI erwähnt. "Dieser Fall unterschied sich in einem wichtigen Punkt von allem, womit wir es bisher zu tun hatten: Er wurde von Anfang bis Ende von einem autonomen KI-Agentensystem gesteuert - und wir haben ihn größtenteils mit unserer eigenen KI aufgedeckt und analysiert", erklärte die Plattform.

Angesichts der Ausgereiftheit des Angriffs habe die Firma den Verdacht gehabt, dass dieser aus einem weltweit führenden KI-Labor kam, erklärte Hugging-Face-Chef Clément Delangue in Onlinedienst X und fuhr mit Blick auf OpenAI fort: "Wir sind fest davon überzeugt, dass ihrerseits keine bösartige Absicht vorlag." Es sei "atemberaubend, dass all das autonom geschehen ist".