ZeroSearch: Revolusi Alibaba untuk melatih AI secara efisien dan mandiri

Depan » Kecerdasan Buatan » ZeroSearch: Revolusi Alibaba untuk melatih AI secara efisien dan mandiri

Inovasi di bidang kecerdasan buatan telah berkembang pesat dalam beberapa tahun terakhir, terutama dalam kaitannya dengan model bahasa besar (LLM). Salah satu terobosan paling signifikan tahun 2025 adalah ZeroSearch, sebuah teknologi yang dikembangkan oleh Alibaba yang mengguncang dasar-dasar bagaimana model-model ini dilatih. Apa sebenarnya ZeroSearch itu, dan mengapa ia menjadi begitu ramai dibicarakan dalam industri ini? Dalam artikel ini, kami akan membahas secara mendetail metodologi baru ini, termasuk cara kerjanya, keuntungan apa yang ditawarkannya dibandingkan metode tradisional, dan bagaimana metodologi ini dapat mengubah pengembangan AI di semua tingkatan.

Di kalangan teknologi, pembicaraannya adalah tentang ini: ZeroSearch berjanji untuk mengurangi biaya pelatihan model kecerdasan buatan tidak kurang dari 88%.. Lonjakan dalam efisiensi ini, jauh dari sekadar taktik pemasaran belaka, memiliki implikasi mendalam bagi bisnis besar dan kecil, pengembang, dan, tentu saja, bagi kemajuan kecerdasan buatan secara umum.

Apa itu ZeroSearch dan dari mana asalnya?

ZeroSearch adalah teknik berbasis pembelajaran penguatan baru yang dirancang untuk melatih model bahasa tanpa bergantung pada mesin pencari eksternal nyata selama proses pelatihan. Inovasi ini berasal dari laboratorium Tongyi milik Alibaba, dengan tujuan untuk memecahkan dua masalah umum dalam melatih model AI yang menggunakan pencarian web: biaya ekonomi tinggi untuk penggunaan API dan ketidakpastian dalam kualitas dokumen yang dipulihkan.

Hingga saat ini, pengembangan asisten canggih, chatbot, atau mesin rekomendasi memerlukan pengiriman puluhan ribu pertanyaan ke mesin pencari seperti Google melalui layanan berbayar, sehingga meningkatkan biaya dan membatasi skalabilitas, terutama bagi perusahaan dengan anggaran terbatas.

ZeroSearch mengubah aturan permainan dengan bertaruh pada sistem di mana LLM sendiri belajar mensimulasikan pengoperasian mesin pencari, menghasilkan dokumen yang relevan atau bahkan tidak relevan (tidak relevan) sebagai respons terhadap pertanyaan dan dengan demikian memungkinkan pelatihan tanpa interaksi eksternal.

Bagaimana cara kerja ZeroSearch? Penjelasan teknis terperinci

Inti dari ZeroSearch adalah kerangka kerja pembelajaran penguatan (RL) yang menghilangkan kebutuhan akan pencarian web sebenarnya selama pelatihan. Mari kita lihat proses ini langkah demi langkah, berdasarkan pendekatan Alibaba dan analisis teknik yang dipublikasikan secara luas.

1. Penyetelan yang diawasi ringan untuk mensimulasikan pencarian

Semuanya dimulai dari satu penyetelan halus terawasi (SFT) di mana LLM dilatih untuk berperilaku sebagai modul pencarian informasi. Melalui penyesuaian ini, ia belajar membuat dokumen respons untuk pertanyaan, meniru gaya tekstual dan jenis konten yang ditawarkan oleh mesin pencari sungguhan. Selama fase awal ini, lintasan interaksi antara model dan mesin pencari dikumpulkan, yang menghasilkan catatan kueri dan dokumen yang diambil.

Jalur yang berhasil, yakni jalur yang mengarah pada jawaban yang benar, diberi label positif (dokumen yang berguna), sedangkan jalur yang menghasilkan kesalahan atau jawaban yang salah diberi label negatif (dokumen berisik). Diferensiasi ini nantinya akan membantu model memahami dan mereproduksi dinamika pencarian yang realistis, termasuk hasil yang relevan dan yang kurang bermanfaat.

2. Peran pembelajaran penguatan dengan simulasi kurikulum

Setelah penyetelan yang diawasi, model beralih ke fase pelatihan penguatan, di mana praktik yang baik diperkuat dan kesalahan diberi penalti. Di sini, LLM yang disimulasikan itu sendiri bertindak sebagai mesin pencari, menanggapi pertanyaan yang dihasilkan oleh model kebijakan dan mengembalikan dokumen yang mungkin berguna atau tidak berguna.

Kesulitan model meningkat secara progresif, mengikuti strategi kurikulum yang perlahan-lahan menurunkan kualitas dokumen yang dihasilkan, sehingga Sistem pertama-tama belajar di lingkungan yang terkendali dan, seiring perkembangannya, dihadapkan pada contoh-contoh yang semakin rumit atau kompleks.. Pendekatan ini membantu model mengembangkan kemampuan pencarian dan penalaran yang kuat dalam kondisi yang realistis.

3. Desain penghargaan dan metrik evaluasi

Untuk memandu pembelajaran, ZeroSearch menggunakan fungsi hadiah berdasarkan skor F1, yang menyeimbangkan ketepatan dan ingatan dengan memperhitungkan kecocokan kata antara prediksi dan jawaban yang benar. Tujuannya adalah untuk memaksimalkan keakuratan jawaban akhir yang dapat dihasilkan model, tanpa terlalu khawatir tentang pemformatan, karena LLM biasanya menghasilkan teks yang diformat dengan baik secara alami.

4. Template interaksi dan penalaran multi-giliran

Selama pelatihan, templat interaksi digunakan yang membagi proses menjadi tiga tahap: penalaran internal (dibatasi antara tag seperti <think>...</think>), melakukan konsultasi (<search>...</search>) Dan pembangkitan respons (<answer>...</answer>). Hal ini memungkinkan model meningkatkan kemampuannya dalam merumuskan pertanyaan yang relevan dan memberikan jawaban yang berdasar.

5. Kompatibilitas dan skalabilitas

ZeroSearch mendukung model bahasa utama, seperti keluarga Qwen-2.5, Qwen-2.5, LLaMA-3.2 dan varian dasar atau yang disesuaikan dengan instruksi. Lebih jauh lagi, ini dapat diimplementasikan dengan berbagai algoritma penguatan (PPO, GRPO, dan lain-lain), yang memudahkan penerapannya di berbagai lingkungan pengembangan.

Data dunia nyata: Berapa banyak penghematan yang dilakukan ZeroSearch dan bagaimana kinerjanya?

Eksperimen yang dilakukan oleh Alibaba dan dilaporkan dalam publikasi dan repositori khusus menunjukkan bahwa ZeroSearch mencapai kinerja yang sebanding dengan, dan bahkan lebih unggul dari, kinerja yang diperoleh melalui mesin pencari komersial nyata.. Penghematan biaya sangat penting:

• Melakukan 64.000 kueri menggunakan Google Search API dapat menghabiskan biaya sekitar Dolar AS 586,70 (sekitar €540).
• Volume kueri yang sama, yang dihasilkan dan dikelola dengan LLM 14.000 miliar parameter menggunakan ZeroSearch, mengurangi biaya menjadi hanya Dolar AS 70,80 (sekitar € 65).
• Perbedaan ini menyiratkan Penghematan biaya pelatihan sebesar 88%, menghilangkan ketergantungan pada API eksternal dan memungkinkan skalabilitas yang lebih besar.

Di sisi lain, hasil kualitasnya mengesankan: eksperimen memperlihatkan bahwa modul pengambilan parameter 7 miliar menyamai performa sistem yang berbasis pada Google Search, sementara dengan parameter 14 miliar, model tersebut bahkan mengunggulinya dalam tugas tanya jawab, menggunakan kumpulan data inferensi kompleks dan lompatan tunggal.

Keuntungan utama dan dampaknya terhadap industri kecerdasan buatan

Kedatangan ZeroSearch mewakili perubahan radikal dalam cara perusahaan dan pengembang mendekati pelatihan model tingkat lanjut.:

• Pengurangan drastis hambatan ekonomi: Memfasilitasi akses ke teknik AI canggih untuk UKM, perusahaan rintisan, dan pengembang independen yang sebelumnya terhambat oleh biaya API komersial.
• Kontrol yang lebih besar atas pelatihanDengan membuat dokumen simulasi, tim dapat menentukan dengan tepat informasi apa yang diterima model, menyesuaikan tingkat kesulitan dan kualitas agar sesuai dengan kebutuhan mereka.
• Meningkatkan otonomi teknis: Meminimalkan ketergantungan pada platform teknologi asing yang besar, mempromosikan pengembangan solusi AI lokal yang disesuaikan.
• Kemampuan beradaptasi dan modularitasZeroSearch dapat digunakan pada berbagai model dan disesuaikan dengan alur kerja dan persyaratan bisnis yang berbeda.

Perbedaan dari strategi sebelumnya: RAG, pencarian nyata dan simulasi

Sebelum ZeroSearch, solusi paling umum untuk menyediakan informasi terkini dan akurat kepada LLM adalah penggunaan RAG (Retrieval-Augmented Generation), di mana model tersebut menanyakan sumber eksternal menggunakan pencarian di dunia nyata. Namun, hal ini menimbulkan beberapa masalah yang jelas:

• Harga tinggi: Penggunaan API yang berkelanjutan dapat melonjakkan anggaran.
• Kualitas variabel: Dokumen yang diambil bisa sangat tidak konsisten tergantung pada pencarian dan API itu sendiri.
• Batasan hukum dan privasi:Mengandalkan layanan pihak ketiga melibatkan risiko hukum dan politik, terutama jika Anda berlatih dengan informasi sensitif.

ZeroSearch menghilangkan kebutuhan untuk terus-menerus merujuk ke sumber eksternal, yang memungkinkan model belajar mencari “di dalam dirinya sendiri” karena mensimulasikan pengalaman berinteraksi dengan mesin pencari.

Dampak dan aplikasi kehidupan nyata: dari Quark hingga demokratisasi AI

Alibaba telah mengintegrasikan ZeroSearch ke dalam produk komersial. Aplikasi Quark mereka, yang didukung oleh model Qwen, telah melihat peningkatan signifikan dalam penalaran dan respons akurat terhadap pertanyaan kompleks berkat teknik ini. Namun mungkin hal yang paling relevan adalah ZeroSearch membuka pintu bagi perusahaan yang lebih kecil untuk merancang model canggih mereka sendiri tanpa memerlukan infrastruktur eksternal yang mahal..

Artikel terkait:

Segala yang perlu Anda ketahui tentang Manus, agen AI yang ingin melakukan pekerjaan Anda

Komunitas penelitian memiliki akses ke repositori kode, kumpulan data, dan model terlatih di GitHub dan Hugging Face, yang mendorong adopsi dan eksperimen global.

Seperti apa masa depan pelatihan AI berkat ZeroSearch?

Seiring makin matangnya teknik ini, kita akan melihat menjamurnya asisten cerdas dengan kemampuan pencarian tingkat lanjut tanpa bergantung pada Google, Bing, atau sejenisnya. Hal ini membuka peluang baru dalam pendidikan, bisnis, dan penelitian, sekaligus berpotensi mengikis dominasi mesin pencari utama di sektor kecerdasan buatan.

Bagi Spanyol dan Eropa, ini mewakili kemungkinan pertumbuhan otonom, berkurangnya ketergantungan dan biaya teknologi, serta kontrol strategis yang lebih besar atas sistem informasi penting.

Munculnya ZeroSearch menandai dimulainya era baru di mana pelatihan model AI tidak lagi menjadi kemewahan yang tersedia bagi segelintir orang, tetapi menjadi alat yang mudah diakses, berskala, dan semakin canggih. Dengan mengajarkan AI untuk mencari tanpa meninggalkan lingkungannya sendiri, Alibaba telah mengambil langkah besar ke arah pengembangan sistem mandiri dan efisien yang beradaptasi dengan kebutuhan apa pun.. Ini bukan lagi hanya tentang mengurangi biaya, tetapi tentang menciptakan kembali aturan permainan untuk seluruh industri kecerdasan buatan.

Artikel terkait:

Apa itu e-commerce: 10 Kunci untuk Memahami Perdagangan Elektronik