Zwei vom britischen Institut für KI-Sicherheit (AISI) veröffentlichte Cybersicherheitsbewertungen zeigen, dass GPT-5.6 Sol Claude Mythos 5 l...
In zwei Cybersicherheitsbewertungen des britischen Instituts für Künstliche Intelligenz (AISI) schnitt GPT-5.6 Sol etwas besser ab als Claude Mythos 5. Dieses Ergebnis ist beachtenswert, sollte jedoch mit Vorsicht interpretiert werden.
Das AISI veröffentlichte keine allgemeine Rangliste, die alle Fähigkeiten im Bereich Angriffs- und Verteidigungscybersicherheit abdeckt. Getestet wurden die Modelle in mehreren spezifischen technischen Aufgaben sowie in simulierten, langfristigen Netzwerkangriffen auf Unternehmen. Unter diesen Bedingungen erzielte GPT-5.6 Sol die höchste Durchschnittspunktzahl, während Mythos 5 sehr nahe daran lag.
Eine bedeutendere Erkenntnis betrifft die offenen Gewichtsmodelle. Das AISI stellte fest, dass die Leistung von GLM-5.2 und DeepSeek V4-Pro nun mit den führenden geschlossenen Modellen vergleichbar ist, die erst vor vier bis sieben Monaten veröffentlicht wurden. In den internen Tests des AISI im Jahr 2025 betrug der Zeitunterschied damals noch sechs bis zehn Monate.
Diese Verkürzung des Zeitabstands ist bedeutsam, da offene Gewichtsmodelle heruntergeladen, modifiziert, privat bereitgestellt und ohne Überwachung durch den Anbieter betrieben werden können. Diese Flexibilität in Bezug auf Forschungsunterstützung, Datenschutz und Kostensenkung könnte es auch erschweren, fortschrittliche Netzwerkfähigkeiten nach ihrer Veröffentlichung zu kontrollieren.
Das AISI verwendete zwei sich ergänzende Bewertungssysteme.
Das erste Bewertungssystem maß spezifische Cybersicherheitsfähigkeiten anhand von 70 Aufgaben, die aus einem größeren Pool von 96 Aufgaben ausgewählt wurden.
Diese Aufgaben deckten vier Hauptbereiche ab:
Sie wurden nach der geschätzten menschlichen Erfahrung in vier Schwierigkeitsstufen eingeteilt:
| Schwierigkeitsstufe | Ungefähre menschliche Erfahrung | Anzahl der Aufgaben |
|---|---|---|
| Technischer Laie | Technischer Hintergrund, aber begrenzte Cybersicherheitserfahrung | 18 |
| Auszubildender | Etwa 1–3 Jahre | 25 |
| Praktiker | Etwa 3–10 Jahre | 19 |
| Experte | Über 10 Jahre | 8 |
Jedes Modell hatte fünf Versuche pro Aufgabe, mit einem Token-Limit von 2,5 Millionen pro Versuch. Das AISI berechnete anschließend die durchschnittliche Erfolgsquote.
Das zweite System maß, ob ein Modell eigenständig einen mehrstufigen Angriff in einem simulierten Netzwerk aufrechterhalten konnte.
Das im Bericht diskutierte Hauptszenario trug den Namen Der letzte Überlebende. Es umfasste:
Die Trajektorien der einzelnen Hauptmodelle stellten den Durchschnitt von zehn Läufen dar, mit einem Token-Limit von 100 Millionen pro Lauf.
Diese Umgebungen bildeten nicht alle Schwierigkeiten eines Angriffs auf ein gut verteidigtes, reales Unternehmen ab. Das AISI wies darauf hin, dass die Ranges derzeit keine aktiven menschlichen Verteidiger, Abwehrwerkzeuge oder Strafen für das Auslösen von Alarmen beinhalten.
Im engen Aufgabenset verzeichnete GPT-5.6 Sol in den vom AISI veröffentlichten Diagrammen die höchste durchschnittliche Erfolgsquote. Claude Mythos 5 folgte dicht, wobei sich die Unsicherheitsbereiche überlappten.
Das Diagramm zeigt, dass die durchschnittliche Erfolgsquote von GPT-5.6 Sol leicht über 90 % lag, während die von Mythos 5 etwa 90 % betrug. Aufgrund der überlappenden Unsicherheitsbalken sollte dieses Ergebnis als ein knapper Vorsprung in dieser Bewertung beschrieben werden – es beweist nicht, dass Sol in allen Cybersicherheitsszenarien absolut überlegen ist.
Auch bei den langfristigen Aufgaben zeigte sich ein ähnliches Bild.
Im Durchschnitt absolvierte GPT-5.6 Sol etwa 29 der 32 Schritte, während Claude Mythos 5 etwa 27 erreichte. Die besten Versuche beider Modelle absolvierten alle Schritte.
Daraus lassen sich folgende Schlüsse ziehen:
Der AISI-Bericht konzentrierte sich hauptsächlich auf die Leistungslücke zwischen Open-Source- und Closed-Source-Modellen, nicht darauf, einen Gesamtsieger zwischen Sol und Mythos zu küren.
Das AISI wählte GLM-5.2 und DeepSeek V4-Pro, da sie zum Zeitpunkt der Tests die führenden Open-Source-Modellkandidaten waren.
Der Kernvergleich des Berichts basierte auf leistungsähnlichen Modellen und dem Abstand zwischen ihren Veröffentlichungsdaten.
| Open-Source-Modell | Bewertungsaufgabe | Vergleichbares Closed-Source-Modell | Geschätzter Veröffentlichungsabstand |
|---|---|---|---|
| GLM-5.2 | Enge Netzwerkaufgaben | Claude Opus 4.6 und GPT-5.3-Codex | Etwa 4 Monate |
| GLM-5.2 | "Der letzte Überlebende" Cybersicherheits-Range | Claude Opus 4.5 | Weniger als 7 Monate |
| DeepSeek V4-Pro | Enge Netzwerkaufgaben | Claude Opus 4.5 | Etwa 5 Monate |
| DeepSeek V4-Pro | Cybersicherheits-Range-Aufgaben | Unter Sonnet 4.5 in bestimmten Bereichen | Nicht als direkte Spitzenklasse betrachtet |
GLM-5.2 erreichte in allen vier Schwierigkeitsstufen der engen Aufgaben eine mit Opus 4.6 vergleichbare Leistung. In der "Der letzte Überlebende"-Range erreichte es die gleiche endgültige durchschnittliche Schrittanzahl wie Opus 4.5.
DeepSeek V4-Pro entsprach Opus 4.5 bei den engen Aufgaben, zeigte aber bei den langfristigen Range-Aufgaben eine schwächere Leistung.
Die internen Tests des AISI im Jahr 2025 zeigten, dass führende Open-Source-Modelle sechs bis zehn Monate hinter den Closed-Source-Spitzenmodellen zurücklagen. Die aktuelle Schätzung von vier bis sieben Monaten deutet darauf hin, dass sich das Vorbereitungsfenster für die Verteidigung möglicherweise verkürzt.
Die Zahl von vier bis sieben Monaten beschreibt lediglich die vom AISI getesteten Modelle und Bewertungsaufgaben. Sie ist keine Vorhersage, dass jedes zukünftige Open-Source-Modell diese feste Rückständigkeit beibehalten wird.
Mehrere Faktoren könnten die Lücke in beide Richtungen verschieben:
Closed-Source-Entwickler könnten plötzliche Leistungssprünge erzielen.
Open-Source-Modelle könnten jüngste Fortschritte an der Spitze nachbilden.
Bessere Agenten-Frameworks könnten mehr Leistung aus bestehenden Modellen herausholen.
Gewichte.
Feintuning und modellspezifische Prompts könnten die gemessenen Fähigkeiten verändern.
Neue Benchmarks könnten Schwächen aufdecken, die aktuelle Tests nicht erkennen.
Bereitstellungskosten und verfügbare Hardware könnten das tatsächliche Missbrauchsrisiko begrenzen.
Sicherheitsmaßnahmen und Zugangskontrollen könnten die verfügbaren Fähigkeiten gehosteter Modelle verändern.
Das AISI gab zudem an, dass seine Einstellungen die maximalen Fähigkeiten offener Gewichtsmodelle möglicherweise leicht unterschätzen, da keine tiefgehende, modellspezifische Extraktion oder Optimierung durchgeführt wurde.
Dieser Bericht gilt ausschließlich für den Cybersicherheitsbereich und sollte nicht verwendet werden, um auf gleiche Abstände in Wissenschaft, Programmierung, allgemeinem Denken oder anderen Bereichen zu schließen.
Die Leistungslücke ist gering, der Preisunterschied jedoch groß.
Das AISI verglich die veröffentlichten Erstanbieter-Token-Preise für leistungsähnliche Modelle.
1 Milliarde Token Cyber Range Kosten
| Modell | Ungefähre Kosten |
|---|---|
| Claude Opus 4.5 | 85 $ |
| Claude Opus 4.6 | 85 $ |
| GLM-5.2 | 46 $ |
| DeepSeek V4-Pro | 1,19 $ |
| Vergleich | Kosten geschlossenes Modell | Kosten Open-Weight-Modell |
|---|---|---|
| Opus 4.6 vs GLM-5.2 | 15,17 $ | 6,12 $ |
| Opus 4.5 vs DeepSeek V4-Pro | 12,50 $ | 0,28 $ |
In diesen Beispielen liegt der veröffentlichte Preis von DeepSeek V4-Pro um ein bis zwei Größenordnungen unter dem vergleichbarer geschlossener Modelle.
Dieser Vergleich hat Einschränkungen. Das AISI hat die getesteten Open-Weight-Modelle nicht über deren eigenen Anbieter ausgeführt, daher können die tatsächlichen Infrastrukturkosten abweichen. Selbsthosting verursacht zudem Kosten für Hardware, Entwicklung, Strom, Netzwerk und Wartung, die im API-Preis nicht enthalten sind.
Dennoch ermöglichen niedrigere Inferenzkosten häufigere Experimente, Feintuning und private Bereitstellungen.
Open-Weight-Modelle bieten praktische Vorteile:
Dieselben Eigenschaften schränken auch die nach der Veröffentlichung möglichen Sicherheitsmaßnahmen ein.
Anbieter geschlossener Modelle können:
Sobald Modellgewichte öffentlich sind, können Kopien weiterverbreitet und privat ausgeführt werden. Verweigerungen können modifiziert, Bereitstellungsüberwachungen entfernt und Kopien vom ursprünglichen Entwickler nicht zuverlässig zurückgeholt werden.
Das AISI hat festgestellt, dass Sicherheitsmaßnahmen die meisten Tests an zwei Open-Weight-Modellen nicht wesentlich behinderten. DeepSeek V4-Pro lehnte Reverse-Engineering-Aufgaben gelegentlich ab, aber ein paar erneute Versuche umgingen diese Ablehnungen meist.
Dies bedeutet nicht, dass alle Open-Weight-Modelle böswillig genutzt werden, sondern dass eine Veröffentlichung schwer rückgängig zu machen ist, sobald ein Modell risikorelevante Fähigkeiten erreicht.
Geschlossener Zugang ist keine Sicherheitsgarantie.
Anthropic hat Claude Fable 5 und Claude Mythos 5 am 9. Juni 2026 veröffentlicht. Fable 5 verwendet stärkere Klassifikatoren für den regulären Zugang, während Mythos 5 einer begrenzten Gruppe vertrauenswürdiger Verteidiger mehr zugrunde liegende Cybersicherheitsfähigkeiten des Modells offenlegt.
Am 12. Juni forderte eine US-Exportkontrollregelung Anthropic auf, den Zugang zu pausieren. Anthropic gab an, dass die Anweisung erging, nachdem Amazon-Forscher einen Bericht vorgelegt hatten, der eine Methode zur Umgehung der Schutzmaßnahmen von Fable 5 in einem begrenzten Cybersicherheitsszenario beschrieb.
Anthropic trainierte daraufhin einen aktualisierten Klassifikator, entwickelte gemeinsam mit Regierungs- und Industriepartnern einen Rahmen zur Bewertung des Schweregrads von Jailbreaks und stellte Fable 5 am 1. Juli nach Aufhebung der Beschränkung weltweit wieder zur Verfügung.
Der Vorfall offenbarte mehrere Punkte:
Geschlossene Bereitstellungen bieten mehr Interventionsmöglichkeiten, aber diese Optionen erfordern dennoch wirksame Überwachung, Tests, Richtlinien und technische Kontrollen.
Das AISI beschreibt die Lücke zwischen offen und geschlossen als Vorbereitungszeit.
Wenn das stärkste System Monate vor einer gleichwertigen Open-Weight-Veröffentlichung kontrolliert wird, können Verteidiger diese Zeit nutzen, um:
Die Verkürzung von sechs bis zehn Monaten auf vier bis sieben Monate bedeutet, dass Organisationen möglicherweise weniger Zeit haben, diese Arbeiten abzuschließen, bevor ähnliche Fähigkeiten billiger und verbreiteter werden.
Das britische National Cyber Security Centre warnt davor, dass KI die Kluft zwischen guten und schlechten Sicherheitspraktiken vergrößern wird. Seine Leitlinien betonen, dass KI-Tools schwache Grundlagen nicht ausgleichen können.
Organisationen mit schlechtem Patch-Management, exponierten Diensten, wiederverwendeten Anmeldeinformationen, unvollständigen Backups und begrenzter Überwachung bleiben anfällig, unabhängig vom verwendeten KI-Modell des Angreifers.
Dieselben Fähigkeiten, die für offensive Bewertungen verwendet werden, können Verteidigern helfen, Code zu prüfen, Tests zu generieren, Ausfälle zu untersuchen und Schwachstellenforschung auszuweiten.
Ein aktuelles Beispiel stammt vom Spiele-Netzwerkentwickler Glenn Fiedler, der Claude Code mit Claude Fable 5 zur Überprüfung von vier etablierten Open-Source-Bibliotheken verwendete:
Beschreibe deine Idee einmal, und We0 AI erstellt eine Showcase-Website, Seiten und ein CMS und hilft nach dem Launch bei Kunden und Traffic.
Eine komplette Projektgeneration zur kostenlosen Registrierung
Am besten geeignet, um einen vollständigen Generierungsablauf auszuprobieren und schnell einen ersten Projektentwurf zu sehen.
netcodereliableserializeyojimboDie Überprüfung fügte libFuzzer-Targets, sanitizerbasierte CI, Millionenfache Stresstests, Golden-Line-Format-Tests und zeilenweise Überprüfungen hinzu.
Ein öffentlicher Schwachstellenbericht dokumentiert 43 Korrekturen:
| Bibliothek | Korrekturen gesamt | Netzwerkerreichbare Korrekturen |
|---|---|---|
| netcode | 7 | 2 |
| reliable | 7 | 6 |
| serialize | 11 | 7 |
| yojimbo | 18 | 12 |
| Gesamt | 43 | 27 |
Das schwerwiegendste Problem war ein Heap-Overflow in yojimbo, der seit 2019 remote auslösbar war. Konstruierte Blockfragmente konnten vor der Größenprüfung in einen Reassembly-Puffer kopiert werden.
Jedes aufgeführte Problem enthielt Links zum Fix-Commit und zur Version, jeder Fix einen Regressionstest. Der Entwickler berichtete, während der zweiwöchigen Fehlerbehebung über 2.500 $ für Claude Code ausgegeben zu haben.
Benutzer der betroffenen Bibliotheken wurden aufgefordert, auf die im öffentlichen Schwachstellenbericht angegebene neueste Version zu aktualisieren.
Dieser Fall beweist nicht, dass KI-Agenten Software unabhängig absichern können. Er zeigt, dass sachkundige Maintainer KI nutzen können, um Fuzzing, Sanitizer-Abdeckung, Überprüfung und Testgenerierung für bestehende Codebasen zu skalieren.
KI kann beiden Seiten helfen, aber die Bereitstellungsmuster unterscheiden sich.
Angreifer brauchen nur eine ausnutzbare Schwachstelle, ein erreichbares Ziel und einen erfolgreichen Pfad. Open-Weight-Modelle können nach der Veröffentlichung wiederholt kopiert und wiederverwendet werden.
Verteidiger müssen zahlreiche Systeme schützen, Bestandsverzeichnisse pflegen, Patches priorisieren, Änderungen testen, Ausfallzeiten verwalten und teamsübergreifend koordinieren. Verteidigungsverbesserungen müssen Organisation für Organisation umgesetzt werden.
Dies erzeugt eine Asymmetrie:
Die richtige Reaktion ist nicht der Verzicht auf defensive KI, sondern deren Kombination mit robusten Ingenieurspraktiken, menschlichem Fachwissen und bewährten Sicherheitskontrollen.
Die Erkenntnisse von AISI und NCSC unterstützen einen praktischen Aktionsrahmen.
Priorisieren Sie:
KI-gestützte Verteidigung wirkt am besten, wenn diese Grundlagen bereits vorhanden sind.
Führen Sie für Softwareprojekte ein:
Die Überprüfung von Mas Bandwidth war nützlich, weil sie KI-Review mit maschinellen Beweisen kombinierte, anstatt generierten Erklärungen zu vertrauen.
KI-generierte Schwachstellenberichte können korrekt, unvollständig oder irreführend sein.
Fordern Sie:
Defensiv codierende Agenten sollten standardmäßig keinen uneingeschränkten Zugriff erhalten.
Beschränkungen:
Isolierte Umgebungen verwenden und
wichtige Aktionen der menschlichen Freigabe unterstellen.
Folgende Kennzahlen verfolgen:
Wenn ein Modell unzuverlässige Ergebnisse liefert oder umfangreiche Überprüfungen erfordert, ist das günstigste Modell nicht unbedingt das kosteneffizienteste.
Cybersicherheits-Benchmarks sind nützlich, doch ihr Geltungsbereich muss klar sein.
Simulierte Übungsplätze vereinfachen die Umgebung. Echte Netzwerke können aktive Verteidiger, Endpunktschutz, Alarmmechanismen, Ratenbegrenzungen, Täuschungssysteme und unvollständige Informationen enthalten.
Die Ergebnisse langfristiger Aufgaben hängen nicht nur vom Modellwissen ab. Werkzeugdesign, Gedächtnis, Kontextverwaltung, Wiederholungsstrategien, Prompt-Strukturen und Ausführungszuverlässigkeit beeinflussen die Leistung.
Bestversuche zeigen, was das System manchmal erreichen kann. Durchschnittsergebnisse zeigen, wie zuverlässig das System bei mehreren Durchläufen vorankommt.
Für das Betriebsrisiko sind beide wichtig.
Modelle mit ähnlicher Leistung wie ältere Modelle sind nicht identisch mit diesen. Diese Systeme können unterschiedliche Stärken, Schwächen, Schutzmaßnahmen, Kosten und Einsatzbeschränkungen aufweisen.
Dieselben Fähigkeiten können für Penetrationstests, Sicherheitscode-Reviews, Vorfallreaktion, Schwachstellenentdeckung oder böswillige Eindringlinge genutzt werden.
Bewertungsergebnisse sollten sowohl in das Risikomanagement als auch in Investitionen in den defensiven Sicherheitszugang einfließen.
GPT-5.6 Sol erzielte in AISIs engen Cybersicherheitsaufgaben und den besonders erwähnten langfristigen Übungsplätzen leicht höhere Durchschnittswerte. Mythos 5 schnitt ähnlich ab, die Unsicherheitsspannen beider Modelle bei engen Aufgaben überschneiden sich, und beide Modelle absolvierten in Bestversuchen alle 32 Übungsplatzschritte.
Nicht unbedingt. AISI testet spezifische Aufgabenpakete und Simulationsumgebungen, nicht alle realen Verteidigungs- oder Angriffsszenarien. Die Ergebnisse stützen einen engen Benchmark-Vergleich, keine allgemeine Rangordnung.
AISI schätzt eine Lücke von vier bis sieben Monaten für die getesteten führenden Open-Weight-Modelle. Diese Daten basieren auf dem Abgleich gemessener Leistung mit dem Veröffentlichungsdatum vergleichbarer Closed-Source-Modelle.
Zum Zeitpunkt der Berichtveröffentlichung war GLM-5.2 das stärkste getestete Open-Weight-Modell bei AISI. Es erreichte bei engen Aufgaben Gleichstand mit Opus 4.6 und erzielte bei den besonders erwähnten Cybersicherheits-Übungsplätzen die gleiche Durchschnittspunktzahl wie Opus 4.5.
Ihre Gewichte können heruntergeladen, modifiziert, privat bereitgestellt und weiterverbreitet werden. Das bringt Vorteile für Forschung und Privatsphäre, schränkt aber die Fähigkeit der ursprünglichen Entwickler ein, Missbrauch zu überwachen, Sicherheitsmaßnahmen zu aktualisieren, Nutzer zu sperren oder alle Kopien zurückzurufen.
in AISIs Bewertung?
Ja. Zum veröffentlichten Erstpreis waren GLM-5.2 und insbesondere DeepSeek V4-Pro deutlich günstiger als vergleichbare Closed-Source-Modelle. Tatsächliche Selbsthosting- und Drittanbieter-Bereitstellungskosten können abweichen.
Ja. KI kann Code-Reviews, Fuzzing-Generierung, Schwachstellenanalyse, Log-Untersuchungen und Behebungen unterstützen. Nach sicherheitsrelevanten Arbeiten mit Claude Code dokumentierte Mas Bandwidth Audit 43 Behebungen in vier Netzwerkbibliotheken.
Vor dem Verlassen auf KI-Werkzeuge grundlegende Sicherheitskontrollen verstärken. Asset-Sichtbarkeit, Patch-Management, Identitätsschutz, Backups, Netzwerksegmentierung, Überwachung und getestete Vorfallreaktion bleiben entscheidend.
AISIs neueste Ergebnisse zeigen, dass GPT-5.6 Sol bei der Durchschnittspunktzahl der beiden angegebenen Cybersicherheitsbewertungen leicht vor Claude Mythos 5 liegt. Dieser Vorsprung ist gering und sollte nicht als Beleg allgemeiner Überlegenheit gesehen werden.
Die Hauptschlussfolgerung des Berichts ist breiter: GLM-5.2 und DeepSeek V4-Pro liegen derzeit nur noch 4 bis 7 Monate hinter vergleichbaren führenden Closed-Source-Modellen zurück, während AISI in internen Tests von 2025 noch eine Lücke von 6 bis 10 Monaten feststellte.
Der angegebene Preis liegt ebenfalls weit unter dem der Konkurrenz.
Diese verkürzte Verzögerungszeit bedeutet, dass das Zeitfenster für Abwehrmaßnahmen weiter schrumpft, bevor erweiterte Fähigkeiten leichter heruntergeladen, modifiziert und lokal ausgeführt werden können. Gleichzeitig zeigt die Leistung von Claude Code, der in vier Netzwerkbibliotheken 43 Schwachstellen entdeckte, dass leistungsstarke Modelle auch defensive Arbeiten beschleunigen können.
Die eigentliche Gegenmaßnahme besteht nicht einfach darin, sich auf Modellschutz oder KI-Sicherheitstools zu verlassen, sondern darin, die Sicherheitsbasis zu festigen und KI in einem kontrollierten, testgetriebenen und manuell geprüften Abwehrprozess einzusetzen.
Starte mit einem Satz und erhalte in wenigen Minuten eine vollständige Website.
