- Natives omnimodales Modell mit Text, Bild, Audio und Video sowie Echtzeit-Streaming.
- SOTA in 22/36 Audio-/Video-Benchmarks und mehrsprachig (119/19/10 Sprachen).
- Thinker-Talker-Architektur mit MoE, geringer Latenz und System-Prompt-Steuerung.
- Empfohlene Bereitstellung mit vLLM/Transformers, Docker und offiziellen Dienstprogrammen.
Mit Qwen3-Omni hat sich die KI-Landschaft grundlegend verändert: Ein einziges, natives Modell, das Text, Bilder, Audio und Video versteht und darauf reagiert – mit spontanen Antworten in schriftlicher und gesprochener Form. Es handelt sich nicht um multimodale „Lösungen“, sondern um eine von Grund auf neu entwickelte Architektur zur Integration verschiedener Modalitäten mit geringer Latenz und präziser Verhaltenskontrolle.
Während fast jeder Chatbots und Assistenten testet, präsentiert sich Qwen3-Omni mit ambitionierten Zielen: Es unterstützt 119 Sprachen per Text, erkennt Sprache in 19 und spricht in 10 Sprachen , versteht lange Audioaufnahmen (bis zu 30 Minuten) und erzielt Bestwerte in Dutzenden von Tests. Darüber hinaus zielen sein Thinker-Talker-Design und der Mixture-of-Experts-Ansatz auf schnelle Reaktionszeiten und fundierte Schlussfolgerungen in realen Anwendungsszenarien ab.
Was ist Qwen3-Omni und was bietet es?
Qwen3-Omni ist eine Familie grundlegender, omnimodaler und durchgängiger mehrsprachiger Modelle zur Verarbeitung von Text, Bildern, Audio und Video mit Ausgabe in Text- und natürlicher Sprache. Der Schlüssel liegt nicht nur in der Vielfalt der Ein- und Ausgaben, sondern auch in der Streaming-Funktionalität mit flüssigen Gesprächsrunden und der Fähigkeit zur sofortigen Reaktion.
Das Team hat mehrere architektonische Verbesserungen zur Steigerung von Leistung und Effizienz eingeführt: ein frühes, textbasiertes Vortraining in Kombination mit multimodalem Training sowie ein Design mit einem Expertennetzwerk (Mixture of Experts, MoE), das die Leistung bei Text und Bild beibehält und gleichzeitig Audio und Video verbessert. Dank dieser Verbesserungen erzielt das Modell in 22 von 36 Audio-/Video-Benchmarks Bestleistungen und in 32 von 36 Open-Source-Bestleistungen. Die Ergebnisse sind vergleichbar mit denen von Gemini 2.5 Pro in den Bereichen automatische Spracherkennung (ASR), Hörverständnis und Konversation.
Schlüsselfunktionen und Modalitäten
Qwen3-Omni ist bereit für reale Audio-, Bild- und audiovisuelle Anwendungen und bietet umfassende Mehrsprachigkeit: 119 Textsprachen, 19 Spracheingabesprachen und 10 Sprachausgabesprachen . Zu den Spracheingabesprachen gehören Englisch, Chinesisch, Koreanisch, Japanisch, Deutsch, Russisch, Italienisch, Französisch, Spanisch, Portugiesisch, Malaiisch, Niederländisch, Indonesisch, Türkisch, Vietnamesisch, Kantonesisch, Arabisch und Urdu; zu den Ausgabesprachen gehören unter anderem Englisch, Chinesisch, Französisch, Deutsch, Russisch, Italienisch, Spanisch, Portugiesisch, Japanisch und Koreanisch.
Die Reihe offizieller Kochbücher verdeutlicht die vielfältigen Einsatzmöglichkeiten. Im Audiobereich demonstriert es mehrsprachige und lange Spracherkennung (ASR) , Sprach-zu-Text- und Sprach-zu-Sprache-Übersetzung, Musikanalyse (Stil, Rhythmus, Genres), Beschreibung von Geräuscheffekten und Untertitelung beliebiger Audiodateien . Es unterstützt außerdem die Analyse von Audiodateien mit Sprache, Musik und Umgebungsgeräuschen.
Im Bereich Bildverarbeitung bietet es „harte“ OCR für komplexe Bilder, Objekterkennung und -verknüpfung , Bildqualitätssicherung, mathematische Bildverarbeitung (wo das Denkmodell seine Stärken ausspielt), Videobeschreibung, videobasierte Navigation aus der Ich-Perspektive und Szenenübergangsanalyse . In audiovisuellen Szenarien demonstriert es Audio-Video-Qualitätssicherung mit Zeitausrichtung, geführte Interaktion mit AV-Eingängen und Dialoge mit Assistentenverhalten.
Als Agent zeichnet es sich durch seine Fähigkeit aus, Anrufe aus dem Audio heraus zu tätigen , was Sprach-Workflows ermöglicht, die Tools aktivieren, und bei abgeleiteten Aufgaben gibt es einen Omni-Captioner für die Untertitelung mit großer Detailgenauigkeit, was die Generalisierbarkeit des grundlegenden Systems demonstriert.
Thinker-Talker-Architektur und -Design mit MoE
Ein wesentliches Unterscheidungsmerkmal ist die Trennung der Verantwortlichkeiten: Der Denker generiert den Text (mit Varianten, die explizite Gedankengänge beinhalten), und der Sprecher erzeugt die Audioausgabe in Echtzeit . Diese Entkopplung ermöglicht eine natürliche Sprachkonversation, während das System gleichzeitig ein hohes Maß an Textverständnis und Planung gewährleistet.
Die Datenbank des Bildungsministeriums verteilt die Arbeitslast auf Experten und nutzt das Vortraining von Auto-Sprachassistenten für leistungsstarke allgemeine Repräsentationen. Darüber hinaus minimiert die Verwendung von Mehrfarbencodierung im Audiokanal die Latenz, was für Anrufe oder Sprachassistenten, bei denen jede Hundertstelsekunde zählt, entscheidend ist.
Leistung und Benchmarks: Text, Bild, Audio und audiovisuell
Der Qwen3-Omni bietet weiterhin erstklassige Text- und Bildwiedergabe ohne Einbußen gegenüber vergleichbar großen Qwen-Modellen, die auf einen einzelnen Modus fokussiert sind. Auch in puncto Audio- und audiovisueller Leistung setzt er in den meisten Tests Maßstäbe . In 36 Audio- und audiovisuellen Benchmarks erzielt er in 32 Fällen Bestwerte im Open-Source-Bereich und in 22 Fällen Bestwerte im Gesamtbereich und übertrifft damit den Gemini 2.5 Pro und den GPT-4o in mehreren Punkten.
Einige bemerkenswerte Meilensteine im Bereich Text: In AIME25 erzielt die Flash-Instruct-Variante einen Wert von etwa 65,9; in ZebraLogic erreicht Instruct 90, und in MultiPL-E erzielt sie vergleichbare Werte wie GPT-4. Bei Alignment-Aufgaben wie IFEval und WritingBench zeigen die Instruct- und Thinking-Modelle hohe und konstante Ergebnisse.
Im Audiobereich sind die ASR-Ergebnisse für Chinesisch und Englisch exzellent: In WenetSpeech und LibriSpeech wird die Wortfehlerrate deutlich reduziert, mit Werten nahe 1,22/2,48 in LibriSpeech Clean/Other. In mehrsprachigen Datensätzen wie FLEURS werden sehr niedrige Fehlerraten erzielt. In VoiceBench schneidet Qwen3-Omni laut Metriken wie AlpacaEval, CommonEval und WildVoice auf Augenhöhe mit geschlossenen Referenzsystemen ab und überzeugt in MMAU v05.15.25 mit exzellenten Ergebnissen im Bereich Audio Reasoning.
Bei audiovisuellen Anwendungen ist WorldSense (ca. 54,1 ) die am häufigsten genannte Metrik und übertrifft damit Gemini-2.5-Flash. Darüber hinaus erzielt die Thinking-Variante in Suiten wie DailyOmni und VideoHolmes Verbesserungen gegenüber bisherigen Open-Source-SOTA-Anwendungen. Im Bereich der reinen Bildverarbeitung glänzt sie in MMMU, MathVista, MathVision und der Dokumentenanalyse (AI2D, ChartQA) und erzielt sehr gute Ergebnisse beim Zählen (CountBench) und der Videoanalyse (Video-MME, MLVU).
Die Zero-Shot-Sprachgenerierung wurde ebenfalls gemessen: Im Vergleich zu Sprachfamilien wie CosyVoice und Seed-TTS zeigt Qwen3-Omni eine bessere Inhaltskonsistenz über mehrere Sprachen hinweg und eine hohe Sprecherähnlichkeit . In der mehrsprachigen Sektion zeigen die Tabellen zur „Inhaltskonsistenz“ und „Sprecherähnlichkeit“, dass Qwen3-Omni 30B-A3B in Chinesisch und Englisch sehr konkurrenzfähig und in Deutsch, Italienisch, Portugiesisch, Spanisch, Japanisch, Koreanisch, Französisch und Russisch solide Ergebnisse liefert. Bei der mehrsprachigen Text-to-Speech-Lösung (TTS) erzielt es im Vergleich zu CosyVoice 2/3 bessere Wortfehlerraten (WER) und Konsistenzen über mehrere Sprachpaare hinweg (z. B. zh→en, ja→en, ko→zh).
Verfügbare Modelle und deren jeweiliger Einsatzzweck
Die Qwen3-Omni-Produktreihe umfasst drei Hauptkomponenten, die jeweils für einen spezifischen Anwendungsbereich entwickelt wurden: Instruct , Thinking und Captioner . Sie basieren alle auf demselben Kern, verfügen jedoch über unterschiedliche, für spezifische Aufgaben aktivierte oder feinabgestimmte Funktionen.
Qwen3-Omni-30B-A3B- Instruct enthält Thinker und Talker, verarbeitet Audio-, Video- und Textdaten und gibt Text und Audio aus. Es ist die richtige Wahl für umfassende Interaktion und gesprochene Echtzeit-Ausgaben und wird für Sprach- oder Videodemonstrationen empfohlen .
Qwen3-Omni-30B-A3B- Thinking konzentriert sich auf den Denker mit logischem Denken und unterstützt Audio, Video und Text mit Textausgabe. Es eignet sich für tiefgehende Analysen, die Lösung komplexer Probleme, visuelle Mathematik oder Arbeitsabläufe, bei denen keine Sprachausgabe, aber strukturiertes Denken erforderlich ist.
Qwen3-Omni-30B-A3B- Captioner ist eine Weiterentwicklung hochpräziser, reaktionsarmer Audio-Untertitelung . Es ist Open Source, deckt ein breites Audiospektrum detailliert ab und schließt eine Lücke im Open-Source-Ökosystem: zuverlässige und aussagekräftige Untertitel für allgemeine Audioinhalte.
Latenz, Echtzeit und Verhaltenskontrolle
Das System ist für die sofortige Interaktion optimiert, mit Reaktionszeiten von ca. 211 ms für Audio und 507 ms für Audio/Video . Neben dem Streaming wird Wert auf natürliche Gesprächsverläufe und eine stabile Sprachausgabe gelegt, unterstützt durch die klar definierten Rollen von Denker (Text) und Sprecher (Sprache).
Zur Feinabstimmung können Sie den Stil mithilfe von Systemansagen anpassen . In AV-Szenarien, in denen Video- und Audiomaterial als Referenz dienen, empfiehlt das Team eine Systemansage, die die Argumentation des Denkers beibehält und gleichzeitig einen besser lesbaren, natürlicheren Text bereitstellt, um dem Sprecher flüssiges Sprechen zu erleichtern . Es wird außerdem empfohlen, den Parameter `use_audio_in_video` während eines mehrstufigen Gesprächs konstant zu halten.
Bei der Auswertung gelten folgende Richtlinien: Es dürfen keine Systemaufforderungen angezeigt werden , das ChatML-Format jedes Benchmarks muss eingehalten werden, und wenn keine Aufforderung vorhanden ist, sind standardmäßig folgende Optionen zu verwenden: Chinesische ASR („请将这段中文语音转换为纯文本。“), ASR für andere Sprachen („Transkribiere die Audioaufnahme in Text.“), S2TT („Höre dir die angegebene <source_language>-Sprache an …“) und Liedtexte („ Transkribiere den Liedtext“ … ohne Interpunktion, Zeilenumbrüche).
Bereitstellung, Anforderungen und Tools
Für ein umfassendes lokales Erlebnis empfiehlt das Team Hugging Face Transformers und die Überprüfung der Softwareentwicklungsphasen . Beachten Sie jedoch: Da es sich um eine MoE-Architektur handelt, kann die Ausführung bei HF-Inferenz langsam sein. Für Produktions- oder Anwendungen mit geringer Latenz empfiehlt das Team die Verwendung von vLLM oder der DashScope-API und stellt sogar ein Docker-Image mit den entsprechenden Umgebungen bereit. Der Transformers-Code wurde bereits integriert, das PyPI-Paket ist jedoch noch nicht veröffentlicht und muss aus dem Quellcode installiert werden.
Sie bieten Hilfsprogramme zur Verarbeitung von Audio- und Bild-/Videodaten (Base64, URLs, verschachtelte Eingaben) und empfehlen FlashAttention 2 mit Transformers, um den GPU-Speicherverbrauch beim Laden von float16- oder bfloat16-Daten zu reduzieren. vLLM beinhaltet FlashAttn2, und Parameter wie limit_mm_per_prompt (GPU-Speicher wird vorab reserviert) und max_num_seqs für Parallelverarbeitung werden detailliert beschrieben ; außerdem ermöglicht die Erhöhung von tensor_parallel_size die Multi-GPU-Inferenz.
Hier einige nützliche Tipps zum Ressourcensparen: Wenn Sie keinen Ton benötigen, können Sie den Talker nach der Initialisierung deaktivieren und so ca. 10 GB VRAM sparen. Für eine schnellere Textausgabe verwenden Sie während der Generierung `return_audio=False` . Die minimalen theoretischen Speicheranforderungen für BF16 mit FlashAttn2 sind ebenfalls angegeben: Beispielsweise benötigt die Instruct 30B-A3B ca. 78,9 GB mit 15 Sekunden Video und 144,8 GB mit 120 Sekunden; die Thinking benötigt entsprechend ca. 68,7 GB bzw. 131,7 GB.
Für die Einrichtung einer lokalen Webdemo empfehlen sie, Ihre vLLM-Umgebung (oder die langsamere Transformers-Umgebung) vorzubereiten, sicherzustellen, dass ffmpeg installiert ist , und ihre Skripte zu verwenden. Sie bieten GPU-fähige Docker-Images „qwenllm/qwen3-omni“ mit dem NVIDIA Container Toolkit , Portweiterleitung (z. B. Host 8901 → Container 80) und der Option, von 0.0.0.0 aus zu arbeiten. Sie können den Container bei Bedarf neu starten oder löschen.
Demos, APIs und Ökosystem
Wenn Sie die Anwendung nicht lokal bereitstellen möchten, können Sie Demos auf Hugging Face Spaces und ModelScope Studio ausprobieren . Diese bieten Funktionen für Qwen3-Omni-Realtime, Instruct, Thinking und den Captioner. Qwen Chat mit Echtzeit-Streaming ist ebenfalls verfügbar: Wählen Sie dazu einfach die Option für Sprach-/Videoanrufe in der Benutzeroberfläche aus.
Für eine skalierbare Integration mit geringer Latenz empfiehlt sich die DashScope-API , da sie die zuverlässigste Performance bietet. Die Community tauscht sich zudem über Kanäle wie Discord und WeChat aus und veröffentlicht Anleitungen mit echten Ausführungsprotokollen, anhand derer Nutzer die Ergebnisse durch Ändern von Eingabeaufforderungen oder Modellen reproduzieren können.
Roadmap und laufende Verbesserungen
Das Team arbeitet an zusätzlichen Funktionen wie Mehrsprecher-Spracherkennung , OCR für Videos, Verbesserungen beim proaktiven audiovisuellen Lernen und komplexeren Agenten-Workflows . Außerdem wurde angekündigt, dass die Audioausgabe in vLLM für das Instruct-Modell in Kürze verfügbar sein wird, womit der Echtzeit-Bereitstellungszyklus von diesem Backend aus abgeschlossen ist.
FAQ: Laufzeitunterstützung und Quantisierung
Einige Nutzer berichten, dass sie Qwen3-Omni selbst mit den üblichen Verdächtigen nicht ausführen können und dass sie in Hugging Face keine Quantisierungen sehen . Zudem ist das native 16-Bit-Format mit rund 70 GB für leistungsschwächere Computer problematisch. Das Projekt selbst stellt klar, dass Transformers bereits integriert ist, jedoch ohne das PyPI-Paket , das aus dem Quellcode installiert werden muss. vLLM wird für die Inferenz bevorzugt, obwohl die Unterstützung für Instruct-Audio in vLLM in Kürze veröffentlicht wird.
Bezüglich der Quantisierung sind in HF noch keine Platzhalter für Qwen3-Omni 30B-A3B aufgeführt. Es ist zu beachten, dass die Modulo- und Multimodalität die sofortige Kompatibilität mit Laufzeitumgebungen wie llama.cpp erschwert. Für alle, die jetzt testen müssen, wird offiziell empfohlen, Docker + Transformers/vLLM aus dem Quellcode oder über die API zu verwenden und das Repository auf Pull Requests zur Unterstützung und zukünftige Quantisierungen zu überprüfen, sobald diese verfügbar sind.
Gute Bewertungspraktiken und -anregungen
Um die Ergebnisse zu reproduzieren, sind folgende Richtlinien zu beachten: Die meisten Benchmarks verwenden Greedy-Decoding in Instruct ohne Sampling, und für Thinking müssen die Parameter in generation_config.json eingehalten werden . Die Videobildrate ist während der Auswertung auf fps=2 eingestellt , und die Benutzereingabeaufforderung sollte den multimodalen Daten folgen , sofern im Datensatz nichts anderes angegeben ist.
Wenn ein Benchmark keine Eingabeaufforderung enthält, können die Standardeingabeaufforderungen verwendet werden (Chinesische ASR/andere, S2TT, Liedtexte). Darüber hinaus sollte die Systemeingabeaufforderung während der Auswertung nicht festgelegt werden, um die Vergleichbarkeit der Ergebnisse über verschiedene Systeme und Durchläufe hinweg zu gewährleisten.
Qwen3-Omni positioniert sich als echte omnimodale Plattform mit geringer Latenz, umfassender Mehrsprachigkeit, modernsten Audio- und Videofunktionen und einem klaren Bereitstellungspfad mithilfe von Transformers, vLLM und Docker. Für alle, die ein einziges Modell suchen, das Text und Bilder nahtlos und ohne Leistungseinbußen verarbeitet und gleichzeitig Videos hört, spricht und versteht , ist dies ein Angebot, das derzeit kaum zu übertreffen ist.