For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/de/articles/ling-3-1-flash-open-weights-1m-context-an-61a6d80d.md.
Ants InclusionAI hat die Gewichte für Ling-3.1-flash veröffentlicht, ein Mixture-of-Experts-Modell für lange Dokumente, Reasoning und toolge...
Ants InclusionAI hat die Gewichte für Ling-3.1-flash veröffentlicht, ein Mixture-of-Experts-Modell für lange Dokumente, Reasoning und toolgestützte Arbeit. IT Home berichtete am 16. Oktober über die Veröffentlichung, nachdem das Team sie am Vortag angekündigt hatte.
Die praktischen Fragen gehen über das beworbene Kontextfenster hinaus. Teams, die eine eigene Bereitstellung erwägen, müssen wissen, wie viel Speicher die Gewichte belegen, welche Serving-Konfiguration ein Benchmark verwendet hat und wie sich die Latenz je nach Arbeitslast verändert. Die veröffentlichten Werte bieten nützliche Ausgangspunkte, sofern die jeweiligen Bedingungen berücksichtigt werden.
Die offizielle Modellkarte beschreibt eine Hybrid-Linear-MoE-Architektur mit etwa 560 Milliarden Gesamtparametern und 25 Milliarden aktiven Parametern pro Token, die ein Kontextfenster von bis zu einer Million Token unterstützt. Das Repository führt eine MIT-Lizenz auf.
Aktive Parameter beschreiben den Teil des Netzwerks, der für ein einzelnes Token verwendet wird. Sie bedeuten nicht, dass eine Bereitstellung nur 25 Milliarden Parameter speichern muss. Gewichtsspeicher und Arbeitsspeicher bleiben bei der Hardwareauswahl relevant.
IT Home nennt einen Artificial Analysis Intelligence Index von 41 und eine Ausgabegeschwindigkeit von etwa 210 Token pro Sekunde. Die für diesen Artikel geprüfte Bewertungsseite zeigt denselben Wert und ungefähr 213 Token pro Sekunde; Live-Messungen können sich ändern, wenn Anbieter und Tests aktualisiert werden.
Artificial-Analysis-Diagramm aus dem Bericht von IT Home. Es zeigt eine bestimmte Messaufnahme und keine garantierte Bereitstellungsgeschwindigkeit.
Die Quelle enthält außerdem die umfassendere Aufgabenevaluierung des Teams. Die Ergebnisse für Coding und Terminal hängen von der Evaluierungsumgebung ab; die Grafik weist darauf hin, dass einige Ergebnisse mit LingCode erzielt wurden. Ein Wert aus diesem Setup sollte nicht automatisch jeder Anwendung zugeschrieben werden, die das Basismodell nutzt.
Diagramm aus dem Quellenbericht; die Ergebnisse wurden vom Modellteam berichtet.
Für die berichtete optimierte Bereitstellung verwenden geroutete Experten MXFP4, während dichte Schichten Block-FP8 beibehalten. Laut IT Home sinkt der Gewichtsspeicher dadurch von etwa 534 GB auf 292 GB, und die entsprechende Hopper-Serving-Konfiguration kann von acht auf vier GPUs reduziert werden.
Dies sind konfigurationsspezifische Werte. Der Speicherbedarf der Gewichte ist nur ein Teil des Gesamtbudgets: Das Serving langer Kontexte, mehrere parallele Anfragen und implementierungsspezifische Puffer verursachen zusätzliche Anforderungen. Vier GPUs mit unzureichendem Speicher sind nicht gleichbedeutend mit dem getesteten Vier-Hopper-System.
Die Unterscheidung ist besonders relevant, weil das Standardbeispiel der aktuellen Modellkarte für SGLang acht H200-GPUs verwendet, während separat ein Vier-GB300-Setup beschrieben wird. Keines von beiden sollte stillschweigend mit dem im Bericht genannten Vier-Hopper-Experiment mit gemischter Präzision gleichgesetzt werden.
Die Quelle beschreibt Prefill- und Decode-Kontextparallelität, bezeichnet als PCP und DCP, zur Verarbeitung langer Eingaben. Sie berichtet außerdem über stärkere Unterstützung für JSON Schema bei Tool-Aufrufen. Das ist relevant, wenn ein Assistent Argumente erzeugen muss, die einer bestehenden Geschäftsschnittstelle entsprechen.
Das Kontextlimit eines Modells, das konfigurierte Maximum einer Serving-Engine und das Anfrage-Limit eines gehosteten Anbieters können voneinander abweichen. Prüfen Sie vor dem Senden eines sehr großen Dokuments den konkreten Endpunkt oder das lokale Serving-Rezept, statt das beworbene Fenster von einer Million Token als Zusicherung zu behandeln, dass jede Route diese Größe akzeptiert.
Strukturierte Argumente benötigen zudem eine anwendungsseitige Validierung. Ein formal korrekter Tool-Aufruf kann weiterhin die falsche Aktion anfordern oder einen falschen Wert enthalten. Schema-Konformität und Aufgabenrichtigkeit sollten daher getrennt bewertet werden.
IT Home berichtet über zwei Serving-Experimente mit unterschiedlichen Anfrageverteilungen und Hardwareanzahlen:
| Messung | Berichtete Testbedingungen | Ergebnis |
|---|---|---|
| Interaktive Latenz | Acht Hopper-GPUs; durchschnittliche Eingabe etwa 25,47K Token; Ausgabe etwa 224 Token; 76 % Cache-Trefferquote | Durchschnittliche Zeit bis zum ersten Token: 604 ms; durchschnittliches Intervall zwischen Ausgabe-Token: 3,28 ms |
| Durchsatz unter Latenzvorgaben | Vier Hopper-GPUs; durchschnittliche Eingabe etwa 8,5K Token; Ausgabe etwa 800 Token | Etwa 1,36 Anfragen pro Sekunde, mit TTFT P50 unter 3 Sekunden und Inter-Token-Latenz P90 unter 70 ms |
Die erste Arbeitslast profitiert von erheblicher Cache-Wiederverwendung und kurzen Ausgaben. Die zweite untersucht, wie viel Traffic eine Instanz bedienen kann, während sie innerhalb der festgelegten Latenzziele bleibt. Die jeweils schnellsten Werte aus beiden Zeilen zu kombinieren, würde ein System beschreiben, das im Bericht nicht getestet wurde.
Beschreibe deine Idee einmal, und We0 AI erstellt eine Showcase-Website, Seiten und ein CMS und hilft nach dem Launch bei Kunden und Traffic.
Eine komplette Projektgeneration zur kostenlosen Registrierung
Am besten geeignet, um einen vollständigen Generierungsablauf auszuprobieren und schnell einen ersten Projektentwurf zu sehen.
Verwenden Sie für die Kapazitätsplanung eine repräsentative Verteilung von Dokumentlängen, Antwortlängen und Cache-Wiederverwendung. Messen Sie sowohl den mittleren Bereich der Latenzverteilung als auch langsamere Anfragen und prüfen Sie anschließend, ob das System die Anforderungen der Anwendung unter gleichzeitiger Last weiterhin erfüllt.
Die Quelle nennt ein zeitlich begrenztes Angebot zu 25 % des regulären Preises, was einem Rabatt von 75 % entspricht. Die angegebenen Preise pro Million Token sind:
| Dienst | Währung | Eingabe | Ausgabe | Lesen zwischengespeicherter Eingaben |
|---|---|---|---|---|
| OpenRouter | USD | $0.075 | $0.225 | $0.015 |
| Ling Studio | CNY | ¥0.50 | ¥1.50 | ¥0.10 |
Dies sind die im Bericht genannten Preise des Einführungsangebots und keine dauerhafte Preiszusage. Die Modellseite von OpenRouter und die Abrechnungsinformationen des Dienstes sollten für eine Kaufentscheidung maßgeblich sein, da sich Anbieter-Verfügbarkeit, unterstützte Kontextlänge und Rabatte unabhängig voneinander ändern können.
Die Gewichte sind auf Hugging Face und ModelScope gelistet. Beginnen Sie bei der Implementierung mit den aktuellen Serving-Hinweisen der Modellkarte; der Quellenartikel selbst ist ein Veröffentlichungsbericht und enthält keine vollständige Bereitstellungsanleitung.
Es ist ein InclusionAI-Sprachmodell für Reasoning, Langkontextverarbeitung und toolgestützte Aufgaben. Die offizielle Beschreibung nennt etwa 560 Milliarden Gesamtparameter, von denen 25 Milliarden pro Token aktiv sind.
Ja, das offizielle Hugging-Face-Repository stellt das Modell bereit und führt eine MIT-Lizenz auf. Prüfen Sie die aktuellen Dateien und die Lizenz im Repository, bevor Sie die Gewichte anpassen oder weiterverbreiten.
Nein. Aktive Berechnung und insgesamt gespeicherte Gewichte sind unterschiedliche Größen. Der optimierte Speicherbedarf für Gewichte beträgt laut Quelle etwa 292 GB, noch vor zusätzlichem Serving-Speicher.
Die Quelle berichtet dieses Ergebnis für eine bestimmte Konfiguration mit gemischter Präzision. Sie belegt nicht, dass beliebige vier Hopper-Karten, beliebige Kontextlängen oder beliebige Parallelitätseinstellungen funktionieren.
Nein. Sie verwenden unterschiedliche Hardwareanzahlen und Anfrageverteilungen. Berücksichtigen Sie beim Vergleich der Ergebnisse weiterhin Cache-Trefferquote, Tokenlängen und Latenzvorgaben.
Die Quelle bezeichnet das Angebot als zeitlich begrenzt. Prüfen Sie vor der Kostenschätzung den aktuellen Preis, die Cache-Richtlinie und das unterstützte Kontextlimit des ausgewählten Anbieters.
Die offenen Gewichte von Ling-3.1-flash ermöglichen eine lokale Evaluierung, während die berichtete Konfiguration mit gemischter Präzision den Speicher- und GPU-Bedarf reduziert. Sein langer Kontext und strukturierte Tool-Aufrufe sind für dokumentintensive Assistenten und Unternehmensabläufe relevant.
Der sinnvolle Bereitstellungsvergleich umfasst die vollständige Konfiguration: Präzision, GPU-Speicher, Eingabelänge, Parallelität und Cache-Wiederverwendung. Betrachten Sie die veröffentlichten Benchmarks als Testergebnisse, die mit Ihrer eigenen Arbeitslast reproduziert werden müssen, und nicht als universelle Serving-Garantien.
Starte mit einem Satz und erhalte in wenigen Minuten eine vollständige Website.
