- Ang INTELLECT-2 ay isang 32.000 bilyong modelo ng parameter na sinanay gamit ang desentralisadong pag-aaral ng reinforcement, bukas sa anumang pandaigdigang kontribyutor.
- Ipinakilala nito ang mga inobasyon gaya ng PRIME-RL framework, ang SHARDCAST distribution network, at ang TOPLOC validation system upang matiyak ang integridad at kahusayan.
- Ginagantimpalaan ng system ang kontribusyon ng mga mapagkukunan sa pag-compute at tinitiyak ang katapatan sa pamamagitan ng mga insentibo at collaborative validation.
- Ang bukas at participatory na diskarte ay nagde-demokratize sa pagbuo ng advanced AI, na nagpapahintulot sa komunidad na mag-ambag at makinabang mula sa mga pag-unlad nito.
Paggalugad sa INTELLECT-2: Ang Collaborative at Desentralisadong AI na Nagrerebolusyon sa Industriya
Sa kasalukuyan, ang artificial intelligence ay sumusulong nang napakabilis, at ang mga bagong modelo at teknolohiyang nangangakong magbabago sa sektor ay palaging lumilitaw. Sa mga inobasyong ito, namumukod-tangi ang INTELLECT-2 , isang proyektong lumilikha ng malaking ingay, kapwa dahil sa makabagong pamamaraan nito at sa potensyal nitong maging isang game-changer sa pagsasanay at pag-deploy ng mga language model. Kung narinig mo na ang tungkol sa INTELLECT-2 ngunit hindi ka sigurado kung ano ito, paano ito gumagana, o kung ano ang nagpapaiba nito sa iba, ang artikulong ito ay para sa iyo.
Sa susunod na ilang mga seksyon, sisirain namin ang lahat ng kailangan mong malaman tungkol sa INTELLECT-2: mula sa pangunahing konsepto nito, hanggang sa natatanging teknikal na arkitektura sa likod nito, sa pagtutulungan at desentralisadong pamamaraan ng pagsasanay nito, sa mga resultang nakamit, sa mga hamon na nalutas, at sa mga posibilidad sa hinaharap na magbubukas nito. Humanda upang matuklasan kung paano nagbibigay-daan sa iyo ang kumbinasyon ng libu-libong GPU sa buong mundo na sanayin ang mga malalaki at mahuhusay na modelo nang hindi umaasa sa malalaking kumpanya o saradong imprastraktura.
Ano ang INTELLECT-2?
Ang INTELLECT-2 ay isang modelo ng wika na may 32.000 bilyong parametro, sinanay gamit ang isang ganap na desentralisadong sistema ng pag-aaral ng reinforcement na bukas sa sinumang kontribyutor na gustong magbigay ng kapangyarihan sa pag-compute. Ang proyektong ito ay nagmamarka ng isang mahalagang punto sa pamamagitan ng pagpapakilala ng posibilidad para sa sinumang indibidwal, kumpanya, o institusyon na mag-ambag ng kanilang mga mapagkukunan (pangunahin na mga GPU) sa pandaigdigang pagsasanay ng mga susunod na henerasyon ng mga modelo ng artificial intelligence.
Sa halip na pumili ng klasikong sentralisadong pamamaraan, ang INTELLECT-2 ay gumagamit ng isang networked na istraktura, kung saan ang gawain ay ipinamamahagi sa libu-libong node. Ang mga node na ito ay maaaring mula sa isang indibidwal na may malakas na GPU hanggang sa malalaking data center, na lahat ay kinoordina sa pamamagitan ng mga protocol at software na partikular na idinisenyo para sa gawaing ito. Ang layunin: makamit ang makabagong pagganap sa mga gawain sa pangangatwiran, matematika, at programming, na ginagawang demokrasya ang pag-access sa mga advanced na modelo at ang kakayahang sanayin ang mga ito.
Pinagmulan at pagganyak: anong mga problema ang nalulutas nito?
Ang isa sa pinakamalaking problema sa mundo ng AI ay ang konsentrasyon ng kapangyarihan at kaalaman sa iilang malalaking organisasyon. Karamihan sa mga malalaking modelo, gaya ng kilalang GPT, Gemini, Llama, atbp., ay nangangailangan ng malalaking imprastraktura at mapagkukunan na available lang sa mga tech na higante. Lumilikha ito ng mga hadlang para sa komunidad, humahadlang sa transparency, at nililimitahan ang bukas na eksperimento.
Ang INTELLECT-2 ay nagmumungkahi ng isang alternatibong modelo, kung saan ang pagsasanay ay hindi nakadepende sa isang sentralisadong kumpol o isang entity, ngunit sa halip ay batay sa sama-sama at pinagsama-samang pagsisikap ng mga kalahok na ipinamahagi sa buong mundo.
Binubuksan nito ang paraan upang:
- Tunay na desentralisasyon ng pananaliksik sa AI, na nagpapahintulot sa kaalaman at kakayahang impluwensyahan ang mga modelo na hindi limitado sa iilan.
- Pagbawas ng gastos, Dahil ang sinuman ay maaaring mag-ambag ng anumang kapangyarihan na mayroon sila, mula sa mga computer sa bahay na may maraming GPU hanggang sa mga sentro ng data.
- Higit na paglaban sa censorship, pagmamanipula o pag-crash, dahil ang sistema ay hindi nakadepende sa isang punto ng kabiguan.
- Pinapadali ang transparency, pakikipagtulungan at bukas na pag-access, mga susi sa paglipat patungo sa isang mas etikal at kapaki-pakinabang na AI para sa lahat.
Teknikal na istraktura: Ito ay kung paano gumagana ang INTELLECT-2 sa loob
Sa likod ng INTELLECT-2 ay isang kahanga-hangang arkitektura ng mga bahagi na ginagawang posible upang i-coordinate ang ipinamahagi na pagsasanay, patunayan ang mga resulta, at gantimpalaan ang mga kalahok. Sa ibaba ay ipinapaliwanag namin ang mga pangunahing elemento:
PRIME-RL: Ang Desentralisadong Training Engine
Ang puso ng sistema ay ang PRIME-RL , isang open-source framework na partikular na idinisenyo para sa pamamahala ng reinforcement training (RL) sa mga kapaligirang may magkakaibang node at walang naunang tiwala sa pagitan ng mga ito. Ano ang nagpapatangi rito? Dahil pinapayagan nito ang paghihiwalay ng proseso ng rollout generation (pagsubok ng modelo sa mga kapaligirang pang-gawain), ang aktwal na pagsasanay, at ang pamamahagi ng mga bagong timbang , na pinamamahalaan ang bawat yugto nang asynchronously at may mataas na kahusayan.
Sa pagsasagawa, nangangahulugan ito na:
- Ang data ng pagsasanay at mga karanasan ay nabuo at ipinadala mula sa iba't ibang mga lokasyon sa buong mundo nang magkatulad at nahiwalay mula sa mga sesyon ng pagsasanay.
- Ang mga timbang at gradient ng modelo ay iniimbak at pinamamahalaan sa mga tipak gamit ang mga makabagong teknolohiya tulad ng PyTorch FSDP, at ang pagpapalitan ng impormasyon ay nakakamit sa pamamagitan ng mga Parquet file at matatag na protocol.
- Nagagawa ng system na mag-adjust sa pagkakaiba-iba ng koneksyon at imprastraktura ng mga kalahok, nang hindi pinaparusahan ang kahusayan o kaligtasan ng proseso.
SHARDCAST: Mahusay na pamamahagi ng modelo
Upang matiyak na ang lahat ng node ay laging mayroong pinakabagong bersyon ng sinanay na modelo at maaaring magsagawa ng mga napapanahong hinuha, nilikha ang SHARDCAST . Pinipira-piraso at ipinamamahagi ng library na ito ang malalaking file (tulad ng mga checkpoint ng modelo) sa isang network ng mga server sa isang istruktura ng puno, gamit ang HTTP. Pinapayagan nito ang:
- Lubos na bawasan ang mga oras ng pagpapalaganap ng mga bagong timbang, na umaabot sa lahat ng kalahok sa loob ng ilang minuto.
- Ipatupad ang redundancy, integrity control (SHA-256), at scalability nang walang saturating na anumang network path.
- Iangkop ang trapiko sa mga kakayahan ng bawat node (paglilimita sa rate, pagpili ng dynamic na relay batay sa performance).
TOPLOC: Pagpapatunay at Seguridad sa Hinuha
Ang isa sa mga pangunahing alalahanin sa mga collaborative at desentralisadong sistema ay ang tiwala: paano natin matitiyak na wasto ang mga kontribusyon ng bawat node at walang mga malpractice, manipulasyon, o pagkakamali?
Dito pumapasok ang TOPLOC, isang sistema ng pagpapatunay batay sa hashing na sensitibo sa lokasyon na nagbe-verify sa bawat hinuha ng mga manggagawa, na tumutukoy sa mga pagbabago, pagkakamali, o tangkang pandaraya. Kabilang sa mga tungkulin nito ang:
- Suriin na ang mga resulta ay hindi binago ng alinman sa hardware o software sa panahon ng mga operasyon.
- Pinapanatili nito ang katatagan kahit na sa harap ng hindi determinismo na tipikal ng mga kasalukuyang GPU.
- Nagbibigay-daan ito para sa pagpapatunay nang mas mabilis kaysa sa magagastos sa muling pagbuo ng data, na ginagawang posible ang pagsubaybay sa isang pandaigdigang saklaw.
Prime Intellect Protocol: Orchestration and the Economy of Collaboration
Ang coordinating protocol, na tinatawag na Prime Intellect Protocol , ay ang bahaging nagbibigay-daan sa pagpaparehistro, pagpapatotoo, paglalaan ng gawain, pamamahala ng insentibo, at pagsubaybay sa trabaho. Kabilang sa mga pangunahing kontribusyon nito ang:
- Isang desentralisadong ledger system (inspirasyon ng blockchain), na nagtatala ng pagganap at kontribusyon ng bawat node.
- Partikular na software para sa mga kalahok upang ipaalam ang kanilang availability, magsumite ng mga resulta, makatanggap ng mga update, at gumana sa mga nakahiwalay na kapaligiran gamit ang Docker.
- Isang mekanismo para sa mga insentibong pang-ekonomiya at reputasyon, kung saan ang mga kalahok ay maaaring makatanggap ng mga gantimpala (wala pa sa tunay na mga token sa testnet) at dapat gumawa ng isang tiyak na halaga, na babawiin kung sakaling magkaroon ng hindi tapat na pag-uugali.
- Isang 24-oras na panahon ng pagpapatunay para sa bawat isinumiteng gawa, kung saan kung may nakitang mga pagkakamali o panloloko, maaaring maglapat ng mga proporsyonal na parusa.
Pagsasanay sa INTELLECT-2: Mga Update at Resulta
Ang pagsasanay sa modelo ay inspirasyon ng mga makabagong pamamaraan, na nagsasama ng mga pagmamay-ari na solusyon upang mapakinabangan ang kalidad ng pag-aaral, kakayahang umangkop, at kahusayan. Kabilang sa mga pinakamahalagang inobasyon ay:
Pag-aaral ng reinforcement na may kontrol sa haba
Isa sa mga pangunahing hamon para sa kasalukuyang mga modelo ng wika ay ang pag-optimize ng oras at gastos ng paghihinuha nang hindi isinasakripisyo ang kalidad sa mga kumplikadong gawain. Upang matugunan ito, ipinatupad ang isang sistemang "thinking budget", na nagbibigay-daan sa pagsasaayos, sa pamamagitan ng mga prompt, ng bilang ng mga token na dapat gamitin ng modelo bago magbigay ng sagot.
Dahil sa kakayahang ito, ang maiikling badyet ay maaaring ilaan sa mga simpleng problema at malalaking badyet (mas maraming "mga pangangatwiran na token") sa mga kumplikadong hamon, depende sa kapasidad ng hardware sa pagproseso. Hindi lamang nito pinapabuti ang kahusayan at bilis kundi nagbibigay-daan din ito para sa mas mahusay na paggamit ng magkakaibang mga mapagkukunan ng network at nakakatulong na iakma ang modelo sa mas nababaluktot na mga pag-deploy sa totoong mundo.
Intelligent data filtering: kalidad kaysa sa dami
Habang nagdidisenyo ng dataset at mga diskarte sa pagsasanay, natukoy ng mga developer ang isang mahalagang punto: walang punto sa pagsasanay sa modelo sa mga problemang nalutas na nito nang perpekto. Samakatuwid, ang isang dobleng pag-filter ay inilapat:
- Offline na pag-filter: Maraming mga problema ang nasuri, maraming mga sagot ang nakuha at tanging ang mga kumakatawan sa isang tunay na hamon para sa modelo ang pinananatili (rate ng resolusyon na katumbas ng o mas mababa sa 75% sa mga nakaraang pagsusulit).
- Online na pag-filter: Sa panahon ng pagsasanay, kung ang lahat ng mga pagtatangka para sa isang gawain ay magreresulta sa parehong gantimpala, ang problema ay itinuturing na walang pag-aaral at hindi ginagamit upang i-update ang modelo. Sa ganitong paraan, ang mga tunay na nakapagtuturo na gawain at mga sample ay palaging inuuna, na nagpapahusay sa paggamit ng mapagkukunan at ang panghuling kalidad ng system.
Mga recipe, benchmark at paghahambing sa iba pang mga modelo
Ang batayang modelo na ginamit ay QwQ-32B, kung saan inilalapat ang mga advanced na pamamaraan tulad ng GRPO (Generalized Reinforcement Policy Optimization) , mga napapatunayang gantimpala mula sa mga larangan ng matematika at programming, at mga mekanismo ng stabilization na partikular na idinisenyo para sa asynchronous distributed training.
Isang dual-objective system ang ginagamit: mga gantimpala para sa mga tamang sagot sa mga problema sa matematika at coding (0 o 1) at mga gantimpala para sa kalapitan sa target na haba ng pangangatwiran. Upang patatagin ang update, ipinakikilala ang bidirectional clipping sa mga probabilidad ng token, na nililimitahan ang parehong pagtaas at pagbaba batay sa kalamangang nakuha (gamit ang mga parameter tulad ng delta at epsilon upang makontrol ang margin).
Ayon sa nai-publish na data, ang INTELLECT-2 ay higit na lumalampas sa QwQ-32B sa mga gawain sa matematika at programming, bagama't nagpapakita ito ng bahagyang pagbaba sa mga benchmark gaya ng IFEval, malamang dahil sa partikular na komposisyon ng dataset.
Pakikilahok: Paano makakapag-ambag at makikinabang ang sinuman
Isa sa mga pinaka-rebolusyonaryong aspeto ng INTELLECT-2 ay ang pagiging bukas nito: sinumang may angkop na GPU ay maaaring sumali sa network, mag-ambag ng lakas sa pag-compute, at aktibong lumahok sa pagsasanay ng mga makabagong modelo ng AI. Ang proseso ay idinisenyo upang maging simple: sundin lamang ang mga tagubilin sa nakalaang dashboard, i-install ang kinakailangang software, at simulan ang pagtanggap ng mga gawain, pag-validate ng mga resulta, at pagkamit ng mga gantimpala.
Ibig sabihin nito:
- Demokratiko at pandaigdigang pag-access sa pagbuo ng malalaking modelo, tradisyonal na ipinagbabawal sa malalaking kumpanya.
- Pagkakataon para sa maliliit na grupo, unibersidad, o independiyenteng developer na mag-ambag at makinabang mula sa sama-samang pag-unlad ng teknolohiya.
- Paglikha ng isang self-sufficient na komunidad na may kakayahang tumulong sa pagtugon sa mga problema, pag-aayos ng mga bug, at pagpapabuti ng teknolohiya.
Seguridad, pagpapatunay, at ekonomiya: kung paano ginagarantiyahan ang integridad at katapatan
Upang maiwasan ang panloloko, pagmamanipula, at pagtatangkang "laro" ang system (tulad ng pagsusumite ng maling data, panggagaya ng hardware, o pagpapalaki ng mga resulta), ipinakilala ng INTELLECT-2 ang maraming hakbang sa seguridad:
- Ang bawat node ay dapat gumawa ng isang tiyak na halaga ng mga token (sa testnet sa ngayon), na aalisin kung may matukoy na maling pag-uugali.
- Ang patuloy na pagpapatunay ng iba pang mga node at ang protocol, kabilang ang pag-verify ng TOPLOC at pagsusuri ng log.
- 24-hour window para suriin ang trabaho at maglapat ng mga parusa kung kinakailangan.
Ang ekonomiya sa likod ng system ay inspirasyon ng mga cryptocurrencies at pilosopiya ng blockchain, ngunit inangkop sa realidad ng collaborative AI training: mga insentibo para sa isang mahusay na trabaho at mga disinsentibo para sa mga pagtatangka sa sabotahe o pagmamanipula.
Mga kasalukuyang gamit at aplikasyon ng INTELLECT-2
Sa kasalukuyan, ang INTELLECT-2 ay pangunahing nakatuon sa pangangatwiran sa matematika, paglutas ng problema sa programming, at mga advanced na benchmark ng lohika. Hindi ito nagkataon lamang: ang mga domain na ito ay nangangailangan ng computation at nangangailangan ng mga modelong may kakayahang nakabalangkas at matagal na "pag-iisip." Para matuto nang higit pa tungkol sa mga pangunahing kaalaman ng artificial intelligence at mga pundasyon nito, maaari mong bisitahin ang Artificial Neural Networks.
Gayunpaman, ang imprastraktura at pamamaraan ng INTELLECT-2 ay perpektong naaangkop sa maraming iba pang larangan, mula sa siyentipikong pananaliksik at pagbuo ng kumplikadong nilalaman hanggang sa paggawa ng desisyon sa mga hindi tiyak na kapaligiran. Ang potensyal nito sa hinaharap ay halos walang limitasyon, lalo na kung ang komunidad ay patuloy na lumalaki at nagpapalawak ng mga lugar ng aplikasyon nito.
Ang hinaharap ng collaborative AI: mga susunod na hakbang at hamon
Inihayag ng mga developer ng INTELLECT-2 na ang kasalukuyang deployment ay simula pa lamang. Kabilang sa mga susunod na hakbang na binalak ay:
- End-to-end na pagsasanay ng mga ahente ng AI na may kakayahang matutong gumamit ng mga panlabas na tool, gaya ng mga interpreter ng code o mga siyentipikong aplikasyon.
- Pagpapalawak at pagpapabuti ng mga aklatan ng gawain at mga kapaligiran sa pag-verify, na nagpapadali sa mga kontribusyon ng komunidad sa pagpili at kontrol sa kalidad ng mga problemang lulutasin.
- Ang patuloy na pag-optimize ng imprastraktura upang higit pang mabawasan ang latency, inference at mga gastos sa pagsasanay, at mga paghihirap sa onboarding para sa mga bagong kalahok.
Kabilang sa mga hamon ang pagtiyak sa kakayahang i-scalable nang hindi isinasakripisyo ang pagganap, pagpapalakas ng seguridad laban sa mga potensyal na pag-atake, at pagpapanatili ng aktibong pakikilahok ng isang patuloy na magkakaibang komunidad. Para matuto nang higit pa tungkol sa kung paano pinamamahalaan ang kakayahang i-scalable ang imprastraktura , inaanyayahan ka naming sumangguni sa mga espesyal na mapagkukunan.
Kinakatawan ng INTELLECT-2 ang isa sa mga pinakaambisyoso at promising na mga inisyatiba upang dalhin ang advanced na artificial intelligence sa larangan ng bukas, pandaigdigang pakikipagtulungan. Ang pangako nito sa desentralisasyon, transparency, at mga gantimpala ng komunidad ay ginagawa itong modelo para sa mga susunod na henerasyon ng AI, na nagpapakita na pinagsasama nito ang makabagong teknolohiya sa isang demokratiko at pakikipagtulungang espiritu. Kung interesado ka sa AI at mayroon kang mga mapagkukunan sa pag-compute, huwag mag-atubiling tuklasin ang posibilidad ng paglahok: ang hinaharap ng artificial intelligence ay maaaring literal na nasa iyong mga kamay.