- Natywny model omnimodalny z tekstem, obrazem, dźwiękiem i wideo oraz transmisją strumieniową w czasie rzeczywistym.
- SOTA w 22/36 testach audio/wideo i w wielu językach (119/19/10 języków).
- Architektura Thinker-Talker z MoE, niskim opóźnieniem i kontrolą monitów systemowych.
- Zalecane wdrożenie z użyciem vLLM/Transformers, Dockera i oficjalnych narzędzi.
Pojawienie się Qwen3-Omni zmieniło krajobraz sztucznej inteligencji: pojedynczy, natywny model zdolny do rozumienia i reagowania na tekst, obrazy, dźwięk i wideo , z natychmiastowymi odpowiedziami zarówno w formie pisemnej, jak i mówionej. Nie mówimy tu o multimodalnych „łatkach”, ale o fundamentalnie zaprojektowanej architekturze integrującej modalności z niskim opóźnieniem i precyzyjnie dostrojoną kontrolą behawioralną.
W czasach, gdy niemal wszyscy testują chatboty i asystentów, Qwen3-Omni pojawia się z ambicjami: obsługuje 119 języków za pośrednictwem tekstu, rozpoznaje mowę w 19 językach, a mówi w 10 językach , rozumie długie nagrania audio (do 30 minut) i może pochwalić się wynikami w dziesiątkach testów. Co więcej, jego konstrukcja Thinker-Talker i podejście Mixture of Experts mają na celu zapewnienie szybkości reakcji i jakości rozumowania w rzeczywistych sytuacjach.
Czym jest Qwen3-Omni i co oferuje?
Qwen3-Omni to rodzina fundamentalnych, wielomodalnych i kompleksowych modeli wielojęzycznych, zaprojektowanych do przetwarzania tekstu, obrazów, dźwięku i wideo, z wynikami zarówno w postaci tekstu, jak i mowy naturalnej. Kluczem jest nie tylko różnorodność danych wejściowych i wyjściowych, ale także funkcjonalność strumieniowania, zapewniająca płynność konwersacji i możliwość natychmiastowej reakcji.
Zespół wprowadził kilka ulepszeń architektonicznych pod kątem wydajności i efektywności: wczesne wstępne trenowanie „najpierw tekst” połączone z mieszanym trenowaniem multimodalnym oraz projekt z wykorzystaniem technologii Mixture of Experts (MoE), która utrzymuje wydajność w przypadku tekstu i obrazu, jednocześnie wzmacniając dźwięk i wideo. Dzięki tym ulepszeniom model osiąga SOTA w 22 z 36 testów porównawczych audio/wideo , a wersja open source SOTA w 32 z 36, z wynikami porównywalnymi z Gemini 2.5 Pro w zakresie ASR, rozumienia dźwięku i konwersacji głosowej.
Kluczowe możliwości i modalności
Qwen3-Omni jest gotowy do obsługi rzeczywistych aplikacji audio, wideo i audiowizualnych, oferując rozbudowaną obsługę wielojęzyczną: 119 języków tekstu, 19 języków wprowadzania głosowego i 10 języków komunikatów głosowych . Języki wprowadzania głosowego obejmują angielski, chiński, koreański, japoński, niemiecki, rosyjski, włoski, francuski, hiszpański, portugalski, malajski, holenderski, indonezyjski, turecki, wietnamski, kantoński, arabski i urdu; języki komunikatów głosowych obejmują między innymi angielski, chiński, francuski, niemiecki, rosyjski, włoski, hiszpański, portugalski, japoński i koreański.
Zestaw oficjalnych książek kucharskich ilustruje szeroki zakres jego zastosowań. W audiobooku prezentuje on wielojęzyczne i długie rozpoznawanie mowy (ASR) , tłumaczenie mowy na tekst i mowy na mowę, analizę muzyki (styl, rytm, gatunki), opis efektów dźwiękowych oraz napisy do dowolnego pliku audio . Obsługuje również mieszaną analizę utworów z mową, muzyką i dźwiękami otoczenia.
W obszarze wizji oferuje „twardy” OCR dla złożonych obrazów, wykrywanie i uziemianie obiektów , kontrolę jakości obrazu, rozwiązywanie problemów matematycznych (gdzie model myślenia sprawdza się znakomicie), opis wideo, nawigację wideo z perspektywy pierwszej osoby oraz analizę przejść między scenami . W scenariuszach audiowizualnych demonstruje kontrolę jakości dźwięku i obrazu z wyrównaniem czasowym, sterowaną interakcję z wejściami AV oraz dialogi z zachowaniem asystenta.
Jako agent wyróżnia się możliwością wykonywania połączeń audio , co otwiera przepływy pracy głosowej aktywujące narzędzia, a w zadaniach pochodnych dostępny jest Omni-Captioner do tworzenia napisów o dużej szczegółowości, co pokazuje generalizację zadania podstawowego.
Myśliciel-Mówca Architektura i Projektowanie z MoE
Jedną z kluczowych różnic jest rozdzielenie obowiązków: Thinker generuje tekst (z wariantami obejmującymi wyraźne rozumowanie oparte na toku myślowym), a Talker generuje dźwięk w czasie rzeczywistym . To rozdzielenie pozwala na naturalną konwersację głosową, a system utrzymuje wysoki poziom zrozumienia i planowania tekstu.
Baza danych MoE rozdziela obciążenie pracą pomiędzy ekspertów i opiera się na wstępnym szkoleniu AuT, aby zapewnić zaawansowane reprezentacje ogólne. Co więcej, zastosowanie kodowania wielokodowego w kanale audio minimalizuje opóźnienia, co jest kluczowe w przypadku połączeń lub asystentów, gdzie liczy się każda setna część sekundy.
Wydajność i testy porównawcze: tekst, wizja, dźwięk i materiały audiowizualne
Qwen3-Omni utrzymuje najwyższą wydajność tekstu i obrazu bez pogorszenia w porównaniu z modelami Qwen o podobnej wielkości, skoncentrowanymi na pojedynczym trybie, a pod względem wydajności audio i audiowizualnej wyznacza standardy w większości testów . W zestawie 36 testów audio i audiowizualnych uzyskał wynik SOTA dla oprogramowania open source w 32 punktach i SOTA łączny w 22 punktach, przewyższając Gemini 2.5 Pro i GPT-4o w kilku punktach.
Kilka ważnych kamieni milowych w tekście: w AIME25 wariant Flash-Instruct osiąga wynik około 65,9; w ZebraLogic Instruct osiąga 90, a w MultiPL-E osiąga wyniki konkurencyjne w porównaniu z GPT-4o. W zadaniach dopasowania, takich jak IFEval i WritingBench, modele Instruct i Thinking wykazują wysokie i spójne wyniki.
W przypadku dźwięku wyniki ASR dla języka chińskiego i angielskiego są doskonałe: w WenetSpeech i LibriSpeech znacząco zmniejsza wskaźnik błędów w słowach, osiągając wartości bliskie 1,22/2,48 w LibriSpeech clean/other, a w zestawach takich jak FLEURS (wielojęzyczny) oferuje bardzo niskie wskaźniki. W VoiceBench, metryki takie jak AlpacaEval, CommonEval i WildVoice plasują Qwen3-Omni na równi z zamkniętymi systemami odniesienia, a w MMAU v05.15.25 wyróżnia się on w rozumowaniu audio.
W aplikacjach audiowizualnych najczęściej cytowanym wskaźnikiem jest WorldSense (około 54,1 ), przewyższając Gemini-2.5-Flash. Co więcej, w pakietach takich jak DailyOmni i VideoHolmes, wariant Thinking osiąga lepsze wyniki niż poprzednie aplikacje open source SOTA. W czystym obrazie wyróżnia się w MMMU, MathVista, MathVision oraz w zakresie rozumienia dokumentów (AI2D, ChartQA), uzyskując bardzo dobre wyniki w liczeniu (CountBench) i rozumieniu wideo (Video-MME, MLVU).
Zmierzono również generowanie głosu bez przerw: w porównaniu z systemami takimi jak CosyVoice i Seed-TTS, Qwen3-Omni charakteryzuje się lepszą spójnością treści w wielu językach i wysokim podobieństwem mówców . W sekcji wielojęzycznej, tabele „Spójność treści” i „Podobieństwo mówców” pokazują, że Qwen3-Omni 30B-A3B jest bardzo konkurencyjny w języku chińskim i angielskim, a także solidny w języku niemieckim, włoskim, portugalskim, hiszpańskim, japońskim, koreańskim, francuskim i rosyjskim. W syntezatorach mowy międzyjęzykowej osiąga lepszą zgodność WER w kilku parach (np. zh→en, ja→en, ko→zh) w porównaniu z CosyVoice 2/3.
Dostępne modele i ich zastosowanie
Linia Qwen3-Omni składa się z trzech głównych elementów, z których każdy przeznaczony jest do konkretnego zastosowania: Instruct , Thinking i Captioner . Wszystkie opierają się na tym samym rdzeniu, ale oferują różne funkcje aktywowane lub precyzyjnie dostrojone do konkretnych zadań.
Qwen3-Omni-30B-A3B- Instruct zawiera Thinkera i Talkera, akceptuje dźwięk, wideo i tekst oraz zwraca tekst i dźwięk. To właściwy wybór, jeśli zależy Ci na pełnej interakcji i wynikach mówionych w czasie rzeczywistym. Zalecany do demonstracji głosowych lub wideo .
Qwen3-Omni-30B-A3B- Thinking koncentruje się na osobie myślącej, wykorzystując rozumowanie łańcuchowe , obsługując dźwięk, obraz i tekst z danymi wyjściowymi. Jest przydatny do dogłębnej analizy, rozwiązywania złożonych problemów, obliczeń matematycznych w formie wizualnej lub w procesach roboczych, w których nie jest potrzebne wyjście głosowe , ale potrzebne jest najlepiej ustrukturyzowane myślenie.
Qwen3-Omni-30B-A3B- Captioner to udoskonalona wersja precyzyjnego i niskoemisyjnego systemu napisów audio . Jest to oprogramowanie open source, szczegółowo obejmujące szeroki zakres dźwięków i wypełniające lukę w ekosystemie open source: niezawodne i bogate napisy do dźwięku ogólnego przeznaczenia.
Opóźnienie, kontrola w czasie rzeczywistym i kontrola zachowania
System jest zoptymalizowany pod kątem natychmiastowej interakcji, z czasem reakcji wynoszącym około 211 ms dla dźwięku i 507 ms dla dźwięku i obrazu . Oprócz strumieniowania, nacisk położono na naturalne zwroty konwersacyjne i stabilną transmisję głosu, wspomaganą przez jasne role Myśliciela (tekst) i Mówcy (głos).
Aby dostroić styl, możesz dostosować go za pomocą podpowiedzi systemowych . W scenariuszach audiowizualnych, w których dźwięk z wideo jest wykorzystywany jako punkt odniesienia, zespół sugeruje podpowiedź systemową, która podtrzymuje tok rozumowania Myśliciela, jednocześnie zapewniając bardziej czytelny i konwersacyjny tekst, ułatwiając Mówcy płynne mówienie . Zaleca się również zachowanie spójności parametru `use_audio_in_video` w trakcie rozmowy wieloetapowej.
Podczas oceny obowiązują konkretne wytyczne: nie ustawiaj monitu systemowego , postępuj zgodnie z formatem ChatML każdego testu porównawczego, a gdy nie ma monitu, użyj domyślnie następujących opcji: chiński ASR („请将这段中文语音转换为纯文本。”), ASR w innych językach („Przepisz dźwięk na tekst.”), S2TT („Posłuchaj dostarczonej mowy w <języku_źródłowym>…”) i tekstu piosenki („ Przepisz tekst piosenki” … bez znaków interpunkcyjnych, wiersze rozdzielone przerwami”).
Wdrożenie, wymagania i narzędzia
Aby w pełni wykorzystać lokalne środowisko, zespół zaleca skorzystanie z Hugging Face Transformers i zapoznanie się z fazami inżynierii oprogramowania . Należy jednak pamiętać, że architektura MoE może działać wolno z wnioskowaniem HF. W przypadku aplikacji produkcyjnych lub wymagających niskich opóźnień zaleca się użycie vLLM lub API DashScope , a nawet udostępnienie obrazu Dockera zawierającego środowiska dla obu platform. Kod Transformers został już scalony, ale pakiet PyPI nie został jeszcze wydany i należy go zainstalować ze źródeł.
Udostępniają narzędzia do obsługi dźwięku i obrazu/wideo (base64, adresy URL, przeplot danych wejściowych) i zalecają FlashAttention 2 z Transformerami w celu zmniejszenia pamięci GPU podczas ładowania w float16 lub bfloat16 . W vLLM FlashAttn2 jest uwzględniany, a parametry takie jak limit_mm_per_prompt (wstępnie przydziela pamięć GPU) i max_num_seqs dla paralelizmu są szczegółowo opisane ; ponadto zwiększenie tensor_parallel_size umożliwia wnioskowanie z wielu GPU.
Oto kilka przydatnych wskazówek dotyczących oszczędzania zasobów: jeśli nie potrzebujesz dźwięku, możesz wyłączyć Talkera po inicjalizacji, oszczędzając około 10 GB pamięci VRAM. A jeśli chcesz szybciej generować tekst, użyj `return_audio=False` podczas generowania. Podano również minimalne teoretyczne wymagania dotyczące pamięci dla BF16 z FlashAttn2: na przykład Instruct 30B-A3B zużywa około 78,9 GB dla 15 sekund wideo i 144,8 GB dla 120 sekund; Thinking zużywa odpowiednio około 68,7 GB i 131,7 GB.
Aby skonfigurować lokalną wersję demonstracyjną w sieci , zalecają przygotowanie środowiska vLLM (lub wolniejszego środowiska Transformers), upewnienie się, że masz zainstalowany pakiet ffmpeg i skorzystanie z ich skryptów. Oferują obrazy Dockera „qwenllm/qwen3-omni” gotowe na GPU z zestawem narzędzi NVIDIA Container Toolkit , mapowaniem portów (np. host 8901 → kontener 80) oraz opcją obsługi z adresu 0.0.0.0. W razie potrzeby możesz ponownie wprowadzić lub usunąć kontener.
Dema, API i ekosystem
Jeśli nie chcesz wdrażać lokalnie, możesz wypróbować wersje demonstracyjne w Hugging Face Spaces i ModelScope Studio , z doświadczeniami dla Qwen3-Omni-Realtime, Instruct, Thinking i Captioner. Dostępny jest również czat Qwen z transmisją strumieniową w czasie rzeczywistym: wystarczy wybrać opcję połączenia głosowego/wideo w interfejsie.
Aby zapewnić skalowalną integrację z niskim opóźnieniem, zalecanym podejściem jest API DashScope , które oferuje najbardziej przewidywalną wydajność. Co więcej, społeczność koordynuje działania za pośrednictwem kanałów takich jak Discord i WeChat oraz publikuje podręczniki z rzeczywistymi logami wykonania, które pozwalają użytkownikom na odtworzenie wyników poprzez zmianę monitów lub modeli.
Plan działania i bieżące ulepszenia
Zespół pracuje nad dodatkowymi funkcjami, takimi jak rozpoznawanie mowy wielu mówców , OCR w odniesieniu do wideo, ulepszenia proaktywnego uczenia audiowizualnego oraz bogatsze przepływy pracy agentów . Zapowiedziano również, że wkrótce dostępna będzie obsługa wyjścia audio w vLLM dla modelu Instruct , co zakończy cykl wdrażania w czasie rzeczywistym z poziomu tego zaplecza.
FAQ: Wsparcie w czasie wykonywania i kwantyzacja
Niektórzy użytkownicy zauważyli, że nie mogą uruchomić Qwen3-Omni nawet z typowymi podejrzani i że nie widzą funkcji kwantowych w Hugging Face ; co więcej, natywny format 16-bitowy zajmuje około 70 GB, co stanowi problem dla komputerów o mniejszej mocy obliczeniowej. Sam projekt wyjaśnia, że Transformers został już scalony, ale bez pakietu PyPI , który należy zainstalować ze źródeł, oraz że vLLM jest preferowaną opcją do wnioskowania, chociaż obsługa dźwięku Instruct w vLLM zostanie udostępniona w najbliższej przyszłości.
Jeśli chodzi o kwantyzację, w HF nie ma jeszcze żadnych symboli zastępczych dla Qwen3-Omni 30B-A3B i warto pamiętać, że MoE i multimodalny charakter komplikuje natychmiastową kompatybilność ze środowiskami wykonawczymi takimi jak llama.cpp. Dla tych, którzy muszą przetestować teraz, oficjalne zalecenie to użycie Docker + Transformers/vLLM ze źródeł lub API i śledzenie repozytorium w celu uzyskania wsparcia dla żądań ściągnięcia i przyszłych kwantyzacji , gdy będą dostępne.
Dobre praktyki i wskazówki dotyczące ewaluacji
Aby odtworzyć te liczby, należy szczegółowo zapoznać się z poniższymi wytycznymi: większość testów porównawczych w Instruct wykorzystuje dekodowanie zachłanne bez próbkowania, a w przypadku Thinking parametry w pliku generation_config.json muszą być przestrzegane . Podczas ewaluacji częstotliwość klatek wideo jest również ustawiona na 2 fps i wskazano, że monit użytkownika powinien być zgodny z danymi multimodalnymi, chyba że zestaw danych określa inaczej.
Jeśli benchmark nie zawiera monitu, można użyć domyślnych monitów (chińskie ASR/inne, S2TT, teksty piosenek). Ponadto, monit systemowy nie powinien być ustawiany podczas ewaluacji, aby zapewnić porównywalność wyników między systemami i przebiegami.
Qwen3-Omni pozycjonuje się jako prawdziwie wielomodalna platforma, oferująca niskie opóźnienia, szerokie wsparcie wielojęzyczne, najnowocześniejsze funkcje audio i wideo oraz przejrzystą ścieżkę wdrożenia z wykorzystaniem Transformerów, vLLM i Dockera. Dla tych, którzy szukają pojedynczego modelu, który płynnie obsługuje tekst i obrazy bez utraty wydajności, a także słucha, mówi i rozumie wideo , jest to propozycja trudna do pobicia.