- Model omnimodal asli dengan teks, gambar, audio dan video, dan streaming waktu nyata.
- SOTA dalam 22/36 tolok ukur audio/video dan multibahasa (119/19/10 bahasa).
- Arsitektur Thinker–Talker dengan MoE, latensi rendah, dan kontrol perintah sistem.
- Penerapan yang disarankan dengan vLLM/Transformers, Docker dan utilitas resmi.
Kehadiran Qwen3-Omni telah mengubah lanskap AI: sebuah model asli tunggal yang mampu memahami dan merespons teks, gambar, audio, dan video , dengan respons langsung dalam bentuk tertulis dan lisan. Kita tidak berbicara tentang "patch" multimodal, melainkan arsitektur yang dirancang secara fundamental untuk mengintegrasikan modalitas dengan latensi rendah dan kontrol perilaku yang disempurnakan.
Di saat hampir semua orang sedang menguji chatbot dan asisten virtual, Qwen3-Omni hadir dengan ambisi: mendukung 119 bahasa melalui teks, mengenali ucapan dalam 19 bahasa dan berbicara dalam 10 bahasa , memahami audio panjang (hingga 30 menit), dan memiliki skor benchmark dalam puluhan pengujian. Lebih lanjut, desain Thinker-Talker dan pendekatan Mixture of Experts bertujuan untuk kecepatan respons dan kualitas penalaran dalam skenario dunia nyata.
Apa itu Qwen3-Omni dan apa yang ditawarkannya?
Qwen3-Omni adalah serangkaian model multibahasa omnimodal dan end-to-end yang dirancang untuk memproses teks, gambar, audio, dan video, dengan output berupa teks dan ucapan alami. Kuncinya terletak tidak hanya pada variasi input dan output, tetapi juga pada fungsionalitas streaming-nya dengan pergantian percakapan yang lancar dan kemampuan untuk merespons secara langsung.
Tim tersebut telah memperkenalkan beberapa peningkatan arsitektur untuk kinerja dan efisiensi: pelatihan awal "berbasis teks" yang dikombinasikan dengan pelatihan multimodal campuran, dan desain dengan Mixture of Experts (MoE) yang mempertahankan kinerjanya dalam teks dan gambar sambil meningkatkan audio dan video. Dengan peningkatan ini, model tersebut mencapai SOTA (State of the Art) dalam 22 dari 36 benchmark audio/video dan SOTA open-source dalam 32 dari 36, dengan hasil yang sebanding dengan Gemini 2.5 Pro dalam ASR (Automatic Speech Recognition), pemahaman audio, dan percakapan lisan.
Kemampuan dan modalitas utama
Qwen3-Omni siap untuk aplikasi audio, visi, dan audiovisual di dunia nyata, dengan dukungan multibahasa yang luas: 119 bahasa teks, 19 bahasa input suara, dan 10 bahasa output suara . Bahasa input suara meliputi Inggris, Tionghoa, Korea, Jepang, Jerman, Rusia, Italia, Prancis, Spanyol, Portugis, Melayu, Belanda, Indonesia, Turki, Vietnam, Kanton, Arab, dan Urdu; dan bahasa output meliputi Inggris, Tionghoa, Prancis, Jerman, Rusia, Italia, Spanyol, Portugis, Jepang, dan Korea, di antara lainnya.
Rangkaian buku masak resmi tersebut menggambarkan luasnya kegunaannya. Dalam bidang audio, ia menampilkan pengenalan ucapan multibahasa dan audio panjang (ASR) , terjemahan ucapan ke teks dan ucapan ke ucapan, analisis musik (gaya, ritme, genre), deskripsi efek suara, dan pembuatan teks keterangan untuk audio apa pun . Ia juga mendukung analisis campuran trek dengan ucapan, musik, dan suara ambien.
Dalam hal penglihatan, ia menawarkan OCR "keras" untuk gambar kompleks, deteksi dan penentuan posisi objek , QA gambar, penyelesaian matematika gambar (di sinilah model Thinking unggul), deskripsi video, navigasi berbasis video orang pertama, dan analisis transisi adegan . Dalam skenario audiovisual, ia mendemonstrasikan QA audio-video dengan penyelarasan waktu, interaksi terpandu dengan input AV , dan dialog dengan perilaku asisten.
Sebagai agen, ia menonjol karena kemampuannya untuk berfungsi melalui panggilan audio , yang membuka alur kerja suara yang mengaktifkan berbagai alat, dan dalam tugas-tugas turunannya terdapat Omni-Captioner untuk pembuatan subtitle dengan detail yang sangat baik, yang menunjukkan kemampuan generalisasi dari versi dasarnya.
Arsitektur dan Desain Thinker-Talker dengan MoE
Salah satu pembeda utama adalah pemisahan tanggung jawab: Pemikir menghasilkan teks (dengan variasi yang mencakup penalaran alur pikir eksplisit), dan Pembicara menghasilkan audio secara real-time . Pemisahan ini memungkinkan percakapan suara alami sementara sistem mempertahankan tingkat pemahaman dan perencanaan teks yang tinggi.
Basis data MoE mendistribusikan beban kerja di antara para ahli dan mengandalkan pelatihan awal AuT untuk representasi umum yang kuat. Selain itu, penggunaan pengkodean multi-kode pada saluran audio mengurangi latensi seminimal mungkin, yang sangat penting untuk panggilan atau asisten di mana setiap seperseratus detik sangat berarti.
Performa dan tolok ukur: teks, visual, audio dan audiovisual
Qwen3-Omni mempertahankan performa teks dan gambar yang mutakhir tanpa mengalami penurunan dibandingkan dengan model Qwen berukuran serupa yang berfokus pada satu mode, sementara dalam performa audio dan audiovisual, ia menjadi yang terdepan dalam sebagian besar pengujian . Dalam rangkaian 36 benchmark audio dan audiovisual, ia mencapai SOTA (State of the Art) open-source di 32 benchmark dan SOTA total di 22 benchmark, melampaui Gemini 2.5 Pro dan GPT-4o dalam beberapa poin.
Beberapa pencapaian penting dalam pengujian teks: di AIME25, varian Flash-Instruct mencetak skor sekitar 65,9; di ZebraLogic, Instruct mencapai 90, dan di MultiPL-E mencapai angka yang kompetitif melawan GPT-4o. Dalam tugas penyelarasan seperti IFEval dan WritingBench, model Instruct dan Thinking menunjukkan skor tinggi dan konsisten.
Dalam hal audio, hasil ASR untuk bahasa Mandarin dan Inggris sangat baik: di WenetSpeech dan LibriSpeech, secara signifikan mengurangi tingkat kesalahan kata, dengan angka mendekati 1,22/2,48 di LibriSpeech clean/other, dan dalam set seperti FLEURS (multilingual), ia menawarkan tingkat yang sangat rendah. Di VoiceBench, metrik seperti AlpacaEval, CommonEval, dan WildVoice menempatkan Qwen3-Omni setara dengan sistem referensi tertutup, dan unggul dalam penalaran audio di MMAU v05.15.25.
Dalam aplikasi audiovisual, metrik yang paling sering dikutip adalah WorldSense (sekitar 54,1 ), melampaui Gemini-2.5-Flash. Lebih lanjut, dalam suite seperti DailyOmni dan VideoHolmes, varian Thinking mencapai peningkatan dibandingkan aplikasi SOTA sumber terbuka sebelumnya. Dalam visi murni, ia unggul dalam MMMU, MathVista, MathVision , dan pemahaman dokumen (AI2D, ChartQA), dengan skor yang sangat baik dalam penghitungan (CountBench) dan pemahaman video (Video-MME, MLVU).
Generasi suara zero-shot juga diukur: dibandingkan dengan keluarga seperti CosyVoice dan Seed-TTS, Qwen3-Omni menunjukkan konsistensi konten yang lebih baik di berbagai bahasa dan kemiripan pembicara yang tinggi . Pada bagian multibahasa, tabel "Konsistensi Konten" dan "Kemiripan Pembicara" menunjukkan Qwen3-Omni 30B-A3B sangat kompetitif dalam bahasa Mandarin dan Inggris, dan solid dalam bahasa Jerman, Italia, Portugis, Spanyol, Jepang, Korea, Prancis, dan Rusia. Dalam TTS lintas bahasa , ia mencapai WER/konsistensi yang lebih baik di beberapa pasangan (misalnya, zh→en, ja→en, ko→zh) dibandingkan dengan CosyVoice 2/3.
Model yang tersedia dan kegunaan masing-masing model
Seri Qwen3-Omni mencakup tiga komponen utama, masing-masing dirancang untuk penggunaan spesifik: Instruct , Thinking , dan Captioner . Semuanya berasal dari inti yang sama tetapi dengan kemampuan berbeda yang diaktifkan atau disempurnakan untuk tugas-tugas tertentu.
Qwen3-Omni-30B-A3B- Instruct berisi Thinker dan Talker, menerima audio, video, dan teks , serta mengembalikan teks dan audio. Ini adalah pilihan yang tepat jika Anda menginginkan interaksi penuh dan hasil ucapan secara real-time, dan direkomendasikan untuk demo suara atau video .
Qwen3-Omni-30B-A3B- Thinking berfokus pada Pemikir dengan penalaran berantai , mendukung audio, video, dan teks dengan keluaran tekstual. Ini berguna untuk analisis mendalam, memecahkan masalah kompleks, matematika visual, atau alur kerja di mana Anda tidak memerlukan keluaran suara tetapi membutuhkan pemikiran terstruktur terbaik.
Qwen3-Omni-30B-A3B- Captioner adalah turunan yang disempurnakan dari pembuatan subtitle audio berpresisi tinggi dan minim hiperaktivitas . Perangkat lunak ini bersifat open source, mencakup berbagai macam audio dengan detail yang sangat baik, dan mengisi kekosongan historis dalam ekosistem open source: teks terjemahan yang andal dan kaya untuk audio umum.
Latensi, waktu nyata, dan kontrol perilaku
Sistem ini dioptimalkan untuk interaksi instan, dengan waktu respons sekitar 211 ms untuk audio dan 507 ms untuk audio-video . Selain streaming, penekanan diberikan pada giliran percakapan alami dan penyampaian suara yang stabil, dibantu oleh peran yang jelas dari Pemikir (teks) dan Pembicara (suara).
Untuk penyempurnaan, Anda dapat menyesuaikan gaya dengan perintah sistem . Dalam skenario AV di mana audio video digunakan sebagai referensi, tim menyarankan perintah sistem yang mempertahankan penalaran Pemikir sambil memberikan teks yang lebih mudah dibaca dan percakapan, sehingga memudahkan Pembicara untuk berbicara dengan lancar . Disarankan juga untuk menjaga parameter `use_audio_in_video` tetap konsisten sepanjang percakapan multi-giliran.
Dalam evaluasi, terdapat pedoman khusus: jangan mengatur prompt sistem , ikuti format ChatML dari setiap benchmark dan, jika tidak ada prompt, gunakan yang berikut secara default: ASR Bahasa Mandarin (“Silakan ubah audio ke teks bahasa Mandarin ini menjadi teks asli.”), ASR bahasa lain (“Transkripsikan audio ke dalam teks.”), S2TT (“Dengarkan ucapan <bahasa_sumber> yang disediakan…”), dan lirik lagu (“ Transkripsikan lirik lagu” … tanpa tanda baca, baris dipisahkan oleh jeda).
Penerapan, persyaratan dan alat
Untuk pengalaman lokal yang lengkap, tim merekomendasikan Hugging Face Transformers dan meninjau fase rekayasa perangkat lunak , tetapi perlu diingat: karena merupakan arsitektur MoE, ia dapat berjalan lambat dengan inferensi HF; untuk aplikasi produksi atau latensi rendah , mereka menyarankan penggunaan vLLM atau API DashScope , dan bahkan menyediakan citra Docker yang mencakup lingkungan untuk keduanya. Kode Transformers telah digabungkan, tetapi paket PyPI belum dirilis dan harus diinstal dari sumber.
Mereka menyediakan utilitas untuk menangani audio dan gambar/video (base64, URL, input interleaved), dan merekomendasikan FlashAttention 2 dengan Transformer untuk mengurangi memori GPU setiap kali memuat float16 atau bfloat16 . Dengan vLLM, FlashAttn2 disertakan, dan parameter seperti limit_mm_per_prompt (mengalokasikan memori GPU terlebih dahulu) dan max_num_seqs untuk paralelisme dijelaskan secara rinci ; selain itu, peningkatan tensor_parallel_size memungkinkan inferensi multi-GPU.
Terdapat beberapa kiat penghematan sumber daya yang berguna: jika Anda tidak memerlukan audio, Anda dapat menonaktifkan Talker setelah inisialisasi, sehingga menghemat sekitar 10 GB VRAM. Dan jika Anda menginginkan output teks yang lebih cepat, gunakan `return_audio=False` selama pembuatan. Persyaratan memori teoritis minimum untuk BF16 dengan FlashAttn2 juga disediakan: misalnya, Instruct 30B-A3B menggunakan sekitar 78,9 GB dengan video 15 detik dan 144,8 GB dengan 120 detik; Thinking menggunakan sekitar 68,7 GB dan 131,7 GB, masing-masing.
Untuk menyiapkan demo web lokal , mereka merekomendasikan untuk mempersiapkan lingkungan vLLM Anda (atau lingkungan Transformers yang lebih lambat), memastikan Anda telah menginstal ffmpeg , dan menggunakan skrip mereka. Mereka menawarkan image Docker siap GPU “qwenllm/qwen3-omni” dengan NVIDIA Container Toolkit , pemetaan port (misalnya, host 8901 → container 80), dan opsi untuk melayani dari 0.0.0.0. Anda dapat masuk kembali atau menghapus container sesuai kebutuhan.
Demo, API, dan ekosistem
Jika Anda tidak ingin melakukan deployment secara lokal, Anda dapat mencoba demo di Hugging Face Spaces dan ModelScope Studio , dengan pengalaman untuk Qwen3-Omni-Realtime, Instruct, Thinking, dan Captioner. Qwen Chat dengan streaming real-time juga tersedia: cukup pilih opsi panggilan suara/video di antarmuka.
Untuk integrasi yang terukur dengan latensi rendah, pendekatan yang direkomendasikan adalah API DashScope , yang menawarkan kinerja paling dapat diprediksi. Selain itu, komunitas berkoordinasi melalui saluran seperti Discord dan WeChat , dan menerbitkan buku panduan dengan log eksekusi nyata yang memungkinkan pengguna untuk mereproduksi hasil dengan mengubah perintah atau model.
Peta jalan dan perbaikan berkelanjutan
Tim tersebut sedang mengerjakan fitur tambahan seperti pengenalan ucapan multi-pembicara , OCR yang diterapkan pada video, peningkatan pembelajaran audiovisual proaktif, dan alur kerja agen yang lebih kaya. Mereka juga mengindikasikan bahwa dukungan output audio di vLLM untuk model Instruct akan segera tersedia, melengkapi siklus penerapan waktu nyata dari backend tersebut.
FAQ: Dukungan runtime dan kuantisasi
Beberapa pengguna berkomentar bahwa mereka tidak dapat menjalankan Qwen3-Omni bahkan dengan perangkat lunak yang biasa digunakan dan bahwa mereka tidak melihat kuantisasi di Hugging Face ; lebih lanjut, format 16-bit asli berukuran sekitar 70 GB, ukuran yang bermasalah untuk komputer dengan spesifikasi rendah. Proyek itu sendiri mengklarifikasi bahwa Transformers sudah digabungkan tetapi tanpa paket PyPI , yang harus diinstal dari sumber, dan bahwa vLLM adalah pilihan yang lebih disukai untuk inferensi, meskipun dukungan audio Instruct di vLLM akan dirilis dalam waktu dekat.
Mengenai kuantisasi, belum ada placeholder yang terdaftar di HF untuk Qwen3-Omni 30B-A3B, dan perlu diingat bahwa MoE dan sifat multimodal mempersulit kompatibilitas langsung dengan runtime seperti llama.cpp. Bagi mereka yang perlu menguji sekarang, rekomendasi resminya adalah menggunakan Docker + Transformers/vLLM dari source code atau API , dan pantau terus repositori untuk permintaan pull request dukungan dan kuantisasi di masa mendatang ketika tersedia.
Praktik dan petunjuk evaluasi yang baik
Untuk mereproduksi angka-angka tersebut, panduan berikut dijelaskan secara rinci: sebagian besar benchmark menggunakan decoding greedy di Instruct tanpa sampling, dan untuk Thinking, parameter dalam generation_config.json harus dipatuhi . Kecepatan frame video juga diatur ke fps=2 selama evaluasi, dan ditunjukkan bahwa perintah pengguna harus mengikuti data multimodal kecuali jika dataset menentukan sebaliknya.
Jika benchmark tidak menyertakan prompt, prompt default dapat digunakan (ASR Bahasa Mandarin/lainnya, S2TT, lirik lagu). Selain itu, prompt sistem sebaiknya tidak diatur selama evaluasi untuk memastikan bahwa hasilnya dapat dibandingkan di berbagai sistem dan proses.
Qwen3-Omni memposisikan dirinya sebagai platform omnimodal sejati, dengan latensi rendah, dukungan multibahasa yang luas, kemampuan audio dan video mutakhir , dan jalur penerapan yang jelas menggunakan Transformer, vLLM, dan Docker. Bagi mereka yang mencari model tunggal yang menangani teks dan gambar dengan lancar tanpa mengorbankan kinerja, dan yang juga mendengarkan, berbicara, dan memahami video , ini adalah tawaran yang sulit ditandingi saat ini.