- INTELLECT-2 är en modell med 32.000 miljarder parametrar som tränas med hjälp av decentraliserad förstärkningsinlärning, öppen för alla globala bidragsgivare.
- Den introducerar innovationer som PRIME-RL-ramverket, distributionsnätverket SHARDCAST och valideringssystemet TOPLOC för att säkerställa integritet och effektivitet.
- Systemet belönar bidraget från datorresurser och säkerställer ärlighet genom incitament och gemensam validering.
- Det öppna och deltagande tillvägagångssättet demokratiserar utvecklingen av avancerad AI, vilket gör det möjligt för samhället att bidra till och dra nytta av dess framsteg.
Utforskar INTELLECT-2: Den kollaborativa och decentraliserade AI som revolutionerar branschen
Idag gör artificiell intelligens framsteg med stormsteg, och nya modeller och tekniker som lovar att revolutionera sektorn dyker upp hela tiden. Bland dessa innovationer sticker INTELLECT-2 ut , ett projekt som genererat stor uppmärksamhet, både för sitt banbrytande tillvägagångssätt och sin potential att vara banbrytande inom träning och implementering av språkmodeller. Om du har hört talas om INTELLECT-2 men inte är helt säker på vad det är, hur det fungerar eller vad som skiljer det från resten, är den här artikeln för dig.
Under de kommande avsnitten kommer vi att gå igenom allt du behöver veta om INTELLECT-2: från dess grundläggande koncept, till den unika tekniska arkitekturen bakom det, dess samarbetsinriktade och decentraliserade utbildningsmetoder, till de uppnådda resultaten, de lösta utmaningarna och de framtida möjligheter det öppnar upp. Gör dig redo att upptäcka hur kombinationen av tusentals GPU:er runt om i världen låter dig träna massiva, kraftfulla modeller utan att förlita dig på stora företag eller slutna infrastrukturer.
Vad är INTELLECT-2?
INTELLECT-2 är en språkmodell med 32.000 miljarder parametrar, tränad med hjälp av ett helt decentraliserat förstärkningsinlärningssystem som är öppet för alla bidragsgivare som vill tillhandahålla datorkraft. Detta projekt markerar en vändpunkt genom att introducera möjligheten för alla individer, företag eller institutioner att bidra med sina resurser (främst GPU:er) till den globala utbildningen av nästa generations artificiella intelligensmodeller.
Istället för att välja den klassiska centraliserade metoden använder INTELLECT-2 en nätverksstruktur där arbetet distribueras över tusentals noder. Dessa noder kan variera från en individ med en kraftfull GPU till stora datacenter, allt koordinerat genom protokoll och programvara som är specifikt utformad för denna uppgift. Målet: att uppnå banbrytande prestanda inom resonemang, matematik och programmeringsuppgifter, demokratisera tillgången till avancerade modeller och möjligheten att träna dem.
Ursprung och motivation: vilka problem löser det?
Ett av de största problemen i AI-världen är koncentrationen av makt och kunskap i en handfull stora organisationer. De flesta storskaliga modeller, som de välkända GPT, Gemini, Llama, etc., kräver massiva infrastrukturer och resurser som bara är tillgängliga för teknikjättar. Detta skapar hinder för samhället, hindrar transparens och begränsar öppen experimentering.
INTELLECT-2 föreslår en alternativ modell, där utbildning inte är beroende av ett centraliserat kluster eller en enda enhet, utan snarare baserad på kollektiva och samordnade insatser från deltagare spridda över hela världen.
Detta öppnar vägen till:
- Verklig decentralisering av AI-forskning, så att kunskap och förmågan att påverka modeller inte begränsas till ett fåtal.
- Kostnadsminskning, Eftersom vem som helst kan bidra med vilken kraft de än har tillgänglig, från hemdatorer med flera GPU:er till datacenter.
- Större motståndskraft mot censur, manipulation eller krascher, eftersom systemet inte är beroende av en enda felpunkt.
- Underlättar transparens, samarbete och öppen åtkomst, nycklar till att gå mot en mer etisk och fördelaktig AI för alla.
Teknisk struktur: Så här fungerar INTELLECT-2 inuti
Bakom INTELLECT-2 finns en imponerande arkitektur av komponenter som gör det möjligt att koordinera distribuerad utbildning, validera resultat och belöna deltagare. Nedan förklarar vi de viktigaste elementen:
PRIME-RL: Den decentraliserade träningsmotorn
Systemets hjärta är PRIME-RL , ett ramverk med öppen källkod som är specifikt utformat för hantering av förstärkningsträning (RL) i miljöer med heterogena noder och utan förtroende mellan dem. Vad gör det speciellt? Att det möjliggör separering av utrullningsprocessen (modelltestning i uppgiftsmiljöer), den faktiska träningen och distributionen av nya vikter , vilket hanterar varje fas asynkront och med hög effektivitet.
I praktiken innebär detta att:
- Träningsdata och erfarenheter genereras och skickas parallellt från olika platser runt om i världen och är frikopplade från träningspassen.
- Modellvikter och gradienter lagras och hanteras i block med hjälp av avancerad teknik som PyTorch FSDP, och informationsutbyte sker via Parquet-filer och robusta protokoll.
- Systemet kan anpassa sig till deltagarnas variationer i anslutningsmöjligheter och infrastruktur, utan att det påverkar processens effektivitet eller säkerhet negativt.
SHARDCAST: Effektiv modelldistribution
För att säkerställa att alla noder alltid har den senaste versionen av den tränade modellen och kan utföra uppdaterade inferenser skapades SHARDCAST . Detta bibliotek fragmenterar och distribuerar stora filer (som modellkontrollpunkter) över ett nätverk av servrar i en trädstruktur med hjälp av HTTP. Detta möjliggör:
- Minska utbredningstiden för nya vikter avsevärtoch når alla deltagare inom några minuter.
- Implementera redundans, integritetskontroll (SHA-256) och skalbarhet utan att mätta någon nätverksväg.
- Anpassa trafiken till varje nods kapacitet (hastighetsbegränsning, dynamiskt reläval baserat på prestanda).
TOPLOC: Validering och säkerhet i inferens
En av de viktigaste frågorna i samarbetande och decentraliserade system är förtroende: hur säkerställer vi att varje nods bidrag är giltiga och att det inte förekommer några felaktigheter, manipulationer eller fel?
Det är här TOPLOC kommer in i bilden, ett platskänsligt hashbaserat valideringssystem som verifierar varje slutsats som görs av arbetare och upptäcker modifieringar, fel eller försök till bedrägeri. Dess funktioner inkluderar:
- Kontrollera att resultaten inte har ändrats av vare sig hårdvara eller mjukvara under operationerna.
- Den bibehåller robusthet även inför den icke-determinism som är typisk för nuvarande GPU:er.
- Det möjliggör validering mycket snabbare än det skulle kosta att generera data, vilket gör övervakning möjlig på global skala.
Prime Intellect Protocol: Orkestrering och samarbetets ekonomi
Det koordinerande protokollet, kallat Prime Intellect Protocol , är den komponent som möjliggör registrering, autentisering, uppgiftsallokering, incitamentshantering och arbetsspårbarhet. Dess huvudsakliga bidrag inkluderar:
- Ett decentraliserat ledgersystem (inspirerat av blockchain), som registrerar prestandan och bidraget från varje nod.
- Specifik programvara för deltagare för att kommunicera sin tillgänglighet, skicka in resultat, ta emot uppdateringar och arbeta i isolerade miljöer med hjälp av Docker.
- En mekanism för ekonomiska och anseendemässiga incitament, där deltagare kan få belöningar (ännu inte i riktiga tokens på testnätet) och måste satsa ett visst belopp, vilket kommer att dras tillbaka vid oärligt beteende.
- En valideringsperiod på 24 timmar för varje inskickat arbete, under vilken proportionella påföljder kan tillämpas om fel eller bedrägerier upptäcks.
INTELLECT-2-träning: Nyheter och resultat
Modellutbildning är inspirerad av toppmoderna metoder och innehåller egna lösningar för att maximera inlärningskvalitet, anpassningsförmåga och effektivitet. Bland de viktigaste innovationerna är:
Förstärkningsinlärning med längdkontroll
En av de största utmaningarna för nuvarande språkmodeller är att optimera tid och kostnad för inferens utan att kompromissa med kvaliteten i komplexa uppgifter. För att hantera detta implementerades ett "tänkande budget"-system, vilket gör det möjligt att justera, via prompter, antalet tokens som modellen ska använda innan ett svar ges.
Tack vare denna funktion kan korta budgetar allokeras till enkla problem och stora budgetar (fler "resonemangstokens") till komplexa utmaningar, beroende på bearbetningshårdvarans kapacitet. Detta förbättrar inte bara effektivitet och hastighet utan möjliggör också bättre utnyttjande av heterogena nätverksresurser och hjälper till att anpassa modellen till mer flexibla implementeringar i verkligheten.
Intelligent datafiltrering: kvalitet framför kvantitet
När utvecklarna utformade datamängden och träningsstrategierna identifierade de en viktig punkt: det finns ingen mening med att träna modellen på problem som den redan löser perfekt. Därför tillämpas en dubbelfiltrering:
- Offline-filtrering: Många problem analyseras, flera svar erhålls och endast de som representerar en verklig utmaning för modellen behålls (upplösningsgrad lika med eller mindre än 75 % i tidigare tester).
- Onlinefiltrering: Om alla försök till en uppgift under träning resulterar i samma belöning, anses problemet inte ge någon inlärning och används inte för att uppdatera modellen. På så sätt prioriteras alltid verkligt lärorika uppgifter och exempel, vilket förbättrar resursutnyttjandet och systemets slutliga kvalitet.
Recept, riktmärken och jämförelse med andra modeller
Basmodellen som används är QwQ-32B, på vilken avancerade tekniker som GRPO (Generalized Reinforcement Policy Optimization) , verifierbara belöningar från matematik och programmeringsområden, och stabiliseringsmekanismer specifikt utformade för asynkron distribuerad träning tillämpas.
Ett system med dubbla mål används: belöningar för korrekta svar i matematik- och kodningsproblem (0 eller 1) och belöningar för närhet till målresonemangslängden. För att stabilisera uppdateringen introduceras dubbelriktad klippning av token-sannolikheterna, vilket begränsar både ökningar och minskningar baserat på den uppnådda fördelen (med parametrar som delta och epsilon för att reglera marginalen).
Enligt publicerade data överträffar INTELLECT-2 QwQ-32B avsevärt i matematik och programmeringsuppgifter, även om den visar en liten nedgång i riktmärken som IFEval, troligen på grund av datamängdens specifika sammansättning.
Deltagande: Hur vem som helst kan bidra och dra nytta av det
En av de mest revolutionerande aspekterna av INTELLECT-2 är dess öppenhet: vem som helst med en lämplig GPU kan ansluta sig till nätverket, bidra med datorkraft och aktivt delta i utbildning av banbrytande AI-modeller. Processen är utformad för att vara enkel: följ bara instruktionerna på den dedikerade instrumentpanelen, installera nödvändig programvara och börja ta emot uppgifter, validera resultat och tjäna belöningar.
Detta innebär:
- Demokratisk och global tillgång till utvecklingen av stora modeller, traditionellt förbjudet för stora företag.
- Möjlighet för små grupper, universitet eller oberoende utvecklare att bidra till och dra nytta av kollektiva tekniska framsteg.
- Skapa en självförsörjande gemenskap som kan gemensamt lösa problem, åtgärda buggar och förbättra tekniken.
Säkerhet, validering och ekonomi: hur integritet och ärlighet garanteras
För att förhindra bedrägerier, manipulation och försök att "manipulera" systemet (som att skicka in falska uppgifter, förfalska hårdvara eller förfalska resultat) introducerar INTELLECT-2 flera säkerhetsåtgärder:
- Varje nod måste commita ett visst antal tokens (för närvarande på testnätet), vilka dras tillbaka om misskötsel upptäcks.
- Kontinuerlig validering av andra noder och protokollet, inklusive TOPLOC-verifiering och logggranskning.
- 24-timmarsfönster för att granska arbete och tillämpa påföljder vid behov.
Ekonomin bakom systemet är inspirerad av kryptovalutor och blockkedjefilosofi, men anpassad till verkligheten av samarbetsinriktad AI-utbildning: incitament för ett väl utfört arbete och avskräckande incitament för försök till sabotage eller manipulation.
Nuvarande användningsområden och tillämpningar av INTELLECT-2
För närvarande är INTELLECT-2 främst inriktat på matematiskt resonemang, problemlösning i programmering och avancerade logiska riktmärken. Detta är ingen slump: dessa områden är beräkningskrävande och kräver modeller som kan strukturerat och långvarigt "tänkande". För att lära dig mer om grunderna i artificiell intelligens och dess grundvalar kan du besöka Artificiella neurala nätverk.
INTELLECT-2:s infrastruktur och tillvägagångssätt är dock fullt tillämpbart på många andra områden, från vetenskaplig forskning och komplex innehållsgenerering till beslutsfattande i osäkra miljöer. Dess framtida potential är praktiskt taget obegränsad, särskilt om communityn fortsätter att växa och utöka sina tillämpningsområden.
Framtiden för samarbetande AI: nästa steg och utmaningar
Utvecklarna av INTELLECT-2 har meddelat att den nuvarande implementeringen bara är början. Bland de planerade nästa stegen finns:
- Helhetsinriktad utbildning av AI-agenter som kan lära sig använda externa verktyg, såsom kodtolkar eller vetenskapliga tillämpningar.
- Utökning och förbättring av uppgiftsbibliotek och verifieringsmiljöer, vilket underlättar gemenskapens bidrag i urvalet och kvalitetskontrollen av problem som ska lösas.
- Kontinuerlig infrastrukturoptimering för att ytterligare minimera latens, inferens- och utbildningskostnader samt onboarding-svårigheter för nya deltagare.
Utmaningarna inkluderar att säkerställa skalbarhet utan att offra prestanda, stärka säkerheten mot potentiella attacker och upprätthålla det aktiva deltagandet från en alltmer mångfaldig gemenskap. För att lära dig mer om hur infrastrukturens skalbarhet hanteras , inbjuder vi dig att konsultera specialiserade resurser.
INTELLECT-2 representerar ett av de mest ambitiösa och lovande initiativen för att föra avancerad artificiell intelligens till den öppna, globala samarbetssfären. Dess engagemang för decentralisering, transparens och samhällsbelöningar gör det till en modell för framtida generationer av AI, vilket visar att det kombinerar banbrytande teknik med en demokratisk och samarbetsinriktad anda. Om du är intresserad av AI och har datorresurserna, tveka inte att utforska möjligheten att delta: framtiden för artificiell intelligens kan bokstavligen ligga i dina händer.