Qwen3-Omni: Vse, kar morate vedeti o omnimodalnem modelu

Informatec Digital » Umetna inteligenca » Qwen3-Omni: Vse, kar morate vedeti o omnimodalnem modelu

Prihod Qwen3-Omnija je spremenil krajino umetne inteligence: en sam izvorni model, ki je sposoben razumeti in se odzivati ​​na besedilo, slike, zvok in video , z odzivi v realnem času v pisni in govorjeni obliki. Ne govorimo o multimodalnih "popravkih", temveč o temeljno zasnovani arhitekturi za integracijo modalitet z nizko zakasnitvijo in natančno nastavljenim vedenjskim nadzorom.

V času, ko skoraj vsi testirajo klepetalne robote in asistente, Qwen3-Omni prihaja z ambicijami: podpira 119 jezikov prek besedila, prepozna govor v 19 jezikih in govorjenje v 10 jezikih , razume dolge zvočne posnetke (do 30 minut) in se ponaša z odličnimi rezultati v številnih testih. Poleg tega njegova zasnova Thinker-Talker in pristop mešanice strokovnjakov ciljata na hitrost odziva in kakovost sklepanja v resničnih scenarijih.

Kaj je Qwen3-Omni in kaj ponuja?

Qwen3-Omni je družina temeljnih, omnimodalnih in celovitih večjezičnih modelov, zasnovanih za obdelavo besedila, slik, zvoka in videa, z izhodom v obliki besedila in naravnega govora. Ključ ni le v raznolikosti vhodnih in izhodnih podatkov, temveč tudi v funkcionalnosti pretakanja s tekočimi pogovornimi obrati in možnostjo takojšnjega odzivanja.

Ekipa je uvedla več arhitekturnih izboljšav za zmogljivost in učinkovitost: zgodnje predhodno učenje »najprej besedilo« v kombinaciji z mešanim multimodalnim učenjem in zasnovo z mešanico strokovnjakov (MoE), ki ohranja svojo zmogljivost pri besedilu in sliki, hkrati pa izboljšuje zvok in video. S temi izboljšavami model dosega SOTA v 22 od 36 avdio/video merilih in odprtokodno SOTA v 32 od 36, z rezultati, primerljivimi z Gemini 2.5 Pro pri ASR, razumevanju zvoka in govorjenih pogovorih.

Ključne zmogljivosti in modalitete

Qwen3-Omni je pripravljen za avdio, vizualne in avdiovizualne aplikacije v resničnem svetu, z obsežno večjezično podporo: 119 jezikov besedila, 19 jezikov za glasovni vnos in 10 jezikov za glasovni izhod . Jeziki za glasovni vnos vključujejo angleščino, kitajščino, korejščino, japonščino, nemščino, ruščino, italijanščino, francoščino, španščino, portugalščino, malajščino, nizozemščino, indonezijščino, turščino, vietnamščino, kantonščino, arabščino in urdujščino; izhodni jeziki pa vključujejo med drugim angleščino, kitajščino, francoščino, nemščino, ruščino, italijanščino, španščino, portugalščino, japonščino in korejščino.

Zbirka uradnih kuharskih knjig ponazarja širino njegove uporabe. Na področju zvoka predstavlja večjezično in dolge zvočne posnetke (ASR) , prevajanje govora v besedilo in govora v govor, analizo glasbe (slog, ritem, žanri), opis zvočnih učinkov in podnapise za kateri koli zvok . Podpira tudi mešano analizo skladb z govorom, glasbo in zvoki iz okolice.

V vizualnem vidu ponuja "trdo" optično prepoznavanje znakov (OCR) za kompleksne slike, zaznavanje in ozemljitev objektov , zagotavljanje kakovosti slik, reševanje matematičnih problemov slik (kjer blesti model mišljenja), opis videa, navigacijo iz prve osebe in analizo prehodov med prizori . V avdiovizualnih scenarijih prikazuje zagotavljanje kakovosti zvoka in videa s časovno poravnavo, vodeno interakcijo z AV vhodi in dialoge z vedenjem asistenta.

Kot agent izstopa po svoji sposobnosti klicanja iz zvoka , kar odpre glasovne delovne poteke, ki aktivirajo orodja, v izpeljanih nalogah pa je na voljo Omni-Captioner za podnaslavljanje z veliko podrobnostmi, kar dokazuje posplošljivost osnovnega.

Mislec in govornik, arhitektura in oblikovanje z ministrstvom za izobraževanje

Ena ključnih razlik je ločitev odgovornosti: Mislec ustvari besedilo (z različicami, ki vključujejo eksplicitno sklepanje po verigi misli), Govorec pa ustvari zvok v realnem času . Ta ločitev omogoča naraven glasovni pogovor, medtem ko sistem ohranja visoko raven razumevanja besedila in načrtovanja.

Podatkovna baza MoE porazdeli delovno obremenitev med strokovnjake in se zanaša na predhodno učenje AuT za zmogljive splošne predstavitve. Poleg tega uporaba večkodnega kodiranja v zvočnem kanalu zmanjša zakasnitev na minimum, kar je ključnega pomena za klice ali asistente, kjer šteje vsaka stotinka sekunde.

Zmogljivost in merila uspešnosti: besedilo, slika, zvok in avdiovizualna vsebina

Qwen3-Omni ohranja vrhunsko zmogljivost besedila in slik brez poslabšanja v primerjavi s podobno velikimi modeli Qwen, ki se osredotočajo na en sam način, medtem ko v zvočni in avdiovizualni zmogljivosti v večini testov določa tempo . V bateriji 36 zvočnih in avdiovizualnih meril dosega odprtokodni SOTA v 32 in skupni SOTA v 22, s čimer v več točkah prekaša Gemini 2.5 Pro in GPT-4o.

Nekaj ​​pomembnih mejnikov pri besedilu: v AIME25 je različica Flash-Instruct dosegla približno 65,9; v ZebraLogic je Instruct dosegel 90, v MultiPL-E pa je dosegel konkurenčne vrednosti v primerjavi z GPT-4o. Pri nalogah poravnave, kot sta IFEval in WritingBench, modela Instruct in Thinking kažeta visoke in dosledne rezultate.

Pri zvoku so rezultati ASR za kitajščino in angleščino odlični: v programih WenetSpeech in LibriSpeech znatno zmanjša stopnjo napak besed, s številkami blizu 1,22/2,48 v programu LibriSpeech clean/other, v naborih, kot je FLEURS (večjezični), pa ponuja zelo nizke stopnje. V programu VoiceBench metrike, kot so AlpacaEval, CommonEval in WildVoice, postavljajo Qwen3-Omni na raven zaprtih referenčnih sistemov in blesti pri zvočnem sklepanju v programu MMAU v05.15.25.

V avdiovizualnih aplikacijah je najpogosteje omenjena metrika WorldSense (približno 54,1 ), ki prekaša Gemini-2.5-Flash. Poleg tega v paketih, kot sta DailyOmni in VideoHolmes, različica Thinking dosega izboljšave v primerjavi s prejšnjimi odprtokodnimi aplikacijami SOTA. V čistem vidu blesti v MMMU, MathVista, MathVision in razumevanju dokumentov (AI2D, ChartQA), z zelo dobrimi rezultati pri štetju (CountBench) in razumevanju videa (Video-MME, MLVU).

Izmerjena je bila tudi generacija glasu z ničelnim številom poskusov: v primerjavi z družinami, kot sta CosyVoice in Seed-TTS, Qwen3-Omni kaže boljšo skladnost vsebine v več jezikih in visoko stopnjo podobnosti govorcev . V večjezičnem razdelku tabeli »Skladnost vsebine« in »Spodobnost govorcev« kažeta, da je Qwen3-Omni 30B-A3B zelo konkurenčen v kitajščini in angleščini ter soliden v nemščini, italijanščini, portugalščini, španščini, japonščini, korejščini, francoščini in ruščini. V medjezičnem TTS dosega boljšo WER/skladnost v več parih (npr. zh→en, ja→en, ko→zh) v primerjavi s CosyVoice 2/3.

Razpoložljivi modeli in za kaj se uporablja vsak od njih

Linija Qwen3-Omni vključuje tri glavne dele, od katerih je vsak zasnovan za specifično uporabo: Instruct , Thinking in Captioner . Vsi izhajajo iz istega jedra, vendar z različnimi zmogljivostmi, ki so aktivirane ali natančno nastavljene za specifične naloge.

Qwen3-Omni-30B-A3B- Instruct vsebuje Thinker in Talker, sprejema zvok, video in besedilo ter vrne besedilo in zvok. Je prava izbira, če želite popolno interakcijo in govorjene rezultate v realnem času, in je priporočljiva za glasovne ali video predstavitve .

Qwen3-Omni-30B-A3B- Thinking se osredotoča na misleca z verižnim sklepanjem , podpira zvok, video in besedilo z besedilnim izhodom. Uporaben je za poglobljeno analizo, reševanje kompleksnih problemov, vizualno matematiko ali delovne procese, kjer ne potrebujete glasovnega izhoda , potrebujete pa najboljše strukturirano razmišljanje.

Qwen3-Omni-30B-A3B- Captioner je izpopolnjena izpeljanka visoko natančnega podnaslavljanja zvoka z nizko hiperaktivnostjo . Je odprtokodna, podrobno pokriva širok spekter zvoka in zapolnjuje zgodovinsko vrzel v odprtokodnem ekosistemu: zanesljivi in ​​bogati podnapisi za zvok splošnega namena.

Zakasnitev, nadzor v realnem času in vedenje

Sistem je optimiziran za takojšnjo interakcijo, z odzivnim časom približno 211 ms za zvok in 507 ms za zvok in video . Poleg pretakanja je poudarek na naravnih pogovornih obratih in stabilnem govoru, k čemur prispevajo jasne vloge Mislca (besedilo) in Govorca (glas).

Za natančno nastavitev lahko slog prilagodite s sistemskimi pozivi . V AV scenarijih, kjer se video zvok uporablja kot referenca, ekipa predlaga sistemski poziv, ki ohranja razmišljanje misleca, hkrati pa zagotavlja bolj berljivo in pogovorno besedilo, kar govorcu olajša tekoče govorjenje . Priporočljivo je tudi, da parameter `use_audio_in_video` ostane dosleden skozi celoten pogovor z več udeleženci.

Pri ocenjevanju obstajajo posebna navodila: ne nastavljajte sistemskega poziva , upoštevajte format ChatML za vsako merilo in, kadar poziva ni, privzeto uporabite naslednje: kitajski ASR (»请将这段中文语音转换为纯文本。«), ASR za druge jezike (»Prepiši zvok v besedilo.«), S2TT (»Poslušaj podani govor <izvorni_jezik> ...«) in besedilo pesmi (» Prepiši besedilo pesmi« ... brez ločil, vrstice ločene s premori«).

Uvajanje, zahteve in orodja

Za popolno lokalno izkušnjo ekipa priporoča Hugging Face Transformers in pregled faz programskega inženiringa , vendar bodite pozorni: ker gre za arhitekturo MoE, lahko deluje počasi s HF sklepanjem; za produkcijske aplikacije ali aplikacije z nizko zakasnitvijo svetujejo uporabo vLLM ali DashScope API-ja in celo zagotavljajo sliko Dockerja, ki vključuje okolja za oba. Koda Transformers je že združena, vendar paket PyPI še ni izdan in ga je treba namestiti iz izvorne kode.

Ponujajo pripomočke za obdelavo zvoka in slik/videoposnetkov (base64, URL-ji, prepleteni vnosi) in priporočajo FlashAttention 2 s Transformerji za zmanjšanje pomnilnika GPU pri nalaganju v float16 ali bfloat16 . Z vLLM je vključen FlashAttn2, podrobno pa so opisani parametri, kot sta limit_mm_per_prompt (predhodno dodeli pomnilnik GPU) in max_num_seqs za vzporednost ; poleg tega povečanje tensor_parallel_size omogoča sklepanje z več GPU-ji.

Obstaja nekaj uporabnih nasvetov za varčevanje z viri: če zvoka ne potrebujete, lahko po inicializaciji onemogočite Talker , s čimer prihranite približno 10 GB VRAM-a. Če želite hitrejši izpis besedila, med generiranjem uporabite `return_audio=False` . Navedene so tudi minimalne teoretične zahteve glede pomnilnika za BF16 s FlashAttn2: na primer, Instruct 30B-A3B porabi približno 78,9 GB s 15 sekundami videa in 144,8 GB s 120 sekundami; Thinking porabi približno 68,7 GB oziroma 131,7 GB.

Za nastavitev lokalne spletne predstavitve priporočajo pripravo okolja vLLM (ali počasnejšega okolja Transformers), namestitev ffmpeg in uporabo njihovih skriptov. Ponujajo slike Dockerja »qwenllm/qwen3-omni«, pripravljene za GPU, z orodji NVIDIA Container Toolkit , preslikavo vrat (npr. gostitelj 8901 → vsebnik 80) in možnostjo strežbe od 0.0.0.0. Vsebnik lahko po potrebi ponovno vnesete ali izbrišete.

Predstavitve, API-ji in ekosistem

Če ne želite izvajati lokalne uvedbe, lahko preizkusite predstavitve v Hugging Face Spaces in ModelScope Studio , z izkušnjami za Qwen3-Omni-Realtime, Instruct, Thinking in Captioner. Na voljo je tudi Qwen Chat s pretakanjem v realnem času: v vmesniku preprosto izberite možnost glasovnega/video klica .

Za skalabilno integracijo z nizko zakasnitvijo je priporočen pristop DashScope API , ki ponuja najbolj predvidljivo delovanje. Poleg tega skupnost usklajuje delovanje prek kanalov, kot sta Discord in WeChat , in objavlja kuharske knjige z dejanskimi dnevniki izvajanja, ki uporabnikom omogočajo reprodukcijo rezultatov s spreminjanjem pozivov ali modelov.

Načrt in stalne izboljšave

Ekipa dela na dodatnih funkcijah, kot so prepoznavanje govora več govorcev , optično prepoznavanje znakov (OCR) za video, izboljšave proaktivnega avdiovizualnega učenja in bogatejši delovni tokovi agentov . Navedli so tudi, da bo kmalu na voljo podpora za zvočni izhod v vLLM za model Instruct , s čimer bo zaključen cikel uvajanja v realnem času iz tega zaledja.

Pogosta vprašanja: Podpora med izvajanjem in kvantizacija

Nekateri uporabniki so komentirali, da ne morejo zagnati Qwen3-Omni niti z običajnimi osumljenci in da v Hugging Face ne vidijo kvantov ; poleg tega je izvorni 16-bitni format velik približno 70 GB, kar je problematično za skromne računalnike. Projekt sam pojasnjuje, da je Transformers že združen, vendar brez paketa PyPI , ki ga je treba namestiti iz izvorne kode, in da je vLLM prednostna možnost za sklepanje, čeprav bo podpora za zvok ukazov v vLLM izdana v bližnji prihodnosti.

Glede kvantizacije v HF še ni navedenih nobenih nadomestnih besedil za Qwen3-Omni 30B-A3B, zato je treba vedeti, da narava MoE in multimodalnosti otežujeta takojšnjo združljivost z izvajalnimi okolji, kot je llama.cpp. Za tiste, ki morajo testirati zdaj, je uradno priporočilo uporaba Docker + Transformers/vLLM iz izvorne kode ali API-ja ter spremljanje repozitorija za zahteve za podporo in prihodnje kvantizacije , ko bodo na voljo.

Dobre prakse ocenjevanja in spodbude

Za reprodukcijo številk so podrobneje opisane naslednje smernice: večina primerjalnih testov uporablja pohlepno dekodiranje v Instruct brez vzorčenja, za Thinking pa je treba upoštevati parametre v generation_config.json . Hitrost sličic videa je med ocenjevanjem nastavljena tudi na fps=2 in navedeno je, da mora uporabniški poziv slediti multimodalnim podatkom, razen če nabor podatkov določa drugače.

Kadar primerjalno testiranje ne vključuje poziva, se lahko uporabijo privzeti pozivi (kitajski ASR/drugo, S2TT, besedila pesmi). Poleg tega se sistemski poziv ne sme nastaviti med ocenjevanjem, da se zagotovi primerljivost rezultatov med sistemi in izvedbami.

Qwen3-Omni se pozicionira kot prava omnimodalna platforma z nizko zakasnitvijo, široko večjezično podporo, najsodobnejšimi zvočnimi in video zmogljivostmi ter jasno potjo uvajanja z uporabo Transformerjev, vLLM in Dockerja. Za tiste, ki iščejo en sam model, ki brezhibno obravnava besedilo in slike brez žrtvovanja zmogljivosti, ter ki hkrati posluša, govori in razume video , je to predlog, ki ga je danes težko premagati.