- INTELLECT-2 er en model med 32.000 milliarder parametre, der er trænet ved hjælp af decentraliseret forstærkningslæring og er åben for alle globale bidragydere.
- Det introducerer innovationer som PRIME-RL-frameworket, SHARDCAST-distributionsnetværket og TOPLOC-valideringssystemet for at sikre integritet og effektivitet.
- Systemet belønner bidraget fra computerressourcer og sikrer ærlighed gennem incitamenter og samarbejdsbaseret validering.
- Den åbne og deltagerbaserede tilgang demokratiserer udviklingen af avanceret kunstig intelligens, hvilket giver fællesskabet mulighed for at bidrage til og drage fordel af dens fremskridt.
Udforskning af INTELLECT-2: Den kollaborative og decentraliserede AI, der revolutionerer branchen
I dag udvikler kunstig intelligens sig med stormskridt, og nye modeller og teknologier, der lover at revolutionere sektoren, dukker hele tiden op. Blandt disse innovationer skiller INTELLECT-2 sig ud , et projekt der har skabt betydelig opmærksomhed, både for sin banebrydende tilgang og sit potentiale til at være banebrydende inden for træning og implementering af sprogmodeller. Hvis du har hørt om INTELLECT-2, men ikke er helt sikker på, hvad det er, hvordan det fungerer, eller hvad der adskiller det fra resten, er denne artikel til dig.
I de næste par afsnit vil vi gennemgå alt, hvad du behøver at vide om INTELLECT-2: fra det grundlæggende koncept til den unikke tekniske arkitektur bag det, dets samarbejdsbaserede og decentraliserede træningsmetoder, de opnåede resultater, de løste udfordringer og de fremtidige muligheder, det åbner op for. Gør dig klar til at opdage, hvordan kombinationen af tusindvis af GPU'er verden over giver dig mulighed for at træne massive, kraftfulde modeller uden at være afhængig af store virksomheder eller lukkede infrastrukturer.
Hvad er INTELLECT-2?
INTELLECT-2 er en sprogmodel med 32.000 milliarder parametre, der er trænet ved hjælp af et fuldt decentraliseret forstærkningslæringssystem, der er åbent for enhver bidragyder, der ønsker at levere computerkraft. Dette projekt markerer et vendepunkt ved at introducere muligheden for, at enhver person, virksomhed eller institution kan bidrage med deres ressourcer (primært GPU'er) til den globale træning af næste generations kunstige intelligensmodeller.
I stedet for at vælge den klassiske centraliserede tilgang, anvender INTELLECT-2 en netværksstruktur, hvor arbejdet er fordelt på tværs af tusindvis af noder. Disse noder kan variere fra en enkelt node med en kraftfuld GPU til store datacentre, alt koordineret gennem protokoller og software, der er specielt designet til denne opgave. Målet: at opnå banebrydende ydeevne inden for ræsonnement, matematik og programmeringsopgaver, demokratisere adgangen til avancerede modeller og muligheden for at træne dem.
Oprindelse og motivation: hvilke problemer løser det?
Et af de største problemer i AI-verdenen er koncentrationen af magt og viden i en håndfuld store organisationer. De fleste store modeller, såsom de velkendte GPT, Gemini, Llama osv., kræver massive infrastrukturer og ressourcer, der kun er tilgængelige for tech-giganter. Dette skaber barrierer for fællesskabet, hæmmer gennemsigtighed og begrænser åben eksperimentering.
INTELLECT-2 foreslår en alternativ model, hvor træning ikke er afhængig af en centraliseret klynge eller en enkelt enhed, men snarere baseret på den kollektive og koordinerede indsats fra deltagere fordelt over hele kloden.
Dette åbner vejen for:
- Reel decentralisering af AI-forskning, at viden og evnen til at påvirke modeller ikke begrænses til nogle få.
- Omkostningsreduktion, Da alle kan bidrage med den strøm, de har til rådighed, fra hjemmecomputere med flere GPU'er til datacentre.
- Større modstandsdygtighed over for censur, manipulation eller nedbrud, fordi systemet ikke er afhængigt af et enkelt fejlpunkt.
- Fremmer gennemsigtighed, samarbejde og åben adgang, nøgler til at bevæge sig hen imod en mere etisk og gavnlig AI for alle.
Teknisk struktur: Sådan fungerer INTELLECT-2 indeni
Bag INTELLECT-2 ligger en imponerende arkitektur af komponenter, der gør det muligt at koordinere distribueret træning, validere resultater og belønne deltagere. Nedenfor forklarer vi de vigtigste elementer:
PRIME-RL: Den decentraliserede træningsmotor
Systemets hjerte er PRIME-RL , et open source-framework, der er specifikt designet til styring af reinforcement training (RL) i miljøer med heterogene noder og ingen forudgående tillid mellem dem. Hvad gør det specielt? Fordi det muliggør adskillelse af udrulningsprocessen (modeltestning i opgavemiljøer), den faktiske træning og fordelingen af nye vægte , hvorved hver fase styres asynkront og med høj effektivitet.
I praksis betyder det, at:
- Træningsdata og -erfaringer genereres og sendes parallelt fra forskellige steder rundt om i verden og er afkoblet fra træningssessionerne.
- Modelvægte og gradienter gemmes og administreres i klumper ved hjælp af banebrydende teknologier som PyTorch FSDP, og informationsudveksling opnås via Parquet-filer og robuste protokoller.
- Systemet er i stand til at tilpasse sig variationen i deltagernes forbindelser og infrastruktur, uden at gå på kompromis med processens effektivitet eller sikkerhed.
SHARDCAST: Effektiv modeldistribution
For at sikre, at alle noder altid har den nyeste version af den trænede model og kan udføre opdaterede inferenser, blev SHARDCAST oprettet . Dette bibliotek fragmenterer og distribuerer store filer (såsom modelcheckpoints) på tværs af et netværk af servere i en træstruktur ved hjælp af HTTP. Dette muliggør:
- Reducerer udbredelsestiden for nye vægte betydeligtog når ud til alle deltagere i løbet af få minutter.
- Implementer redundans, integritetskontrol (SHA-256) og skalerbarhed uden at overbelaste nogen netværkssti.
- Tilpas trafikken til hver nodes muligheder (hastighedsbegrænsning, dynamisk relævalg baseret på ydeevne).
TOPLOC: Validering og sikkerhed i inferens
En af de største bekymringer i samarbejdsbaserede og decentraliserede systemer er tillid: hvordan sikrer vi, at hver nodes bidrag er gyldige, og at der ikke er nogen fejl, manipulationer eller fejl?
Det er her, TOPLOC kommer ind i billedet, et lokationsfølsomt hashing-baseret valideringssystem, der verificerer enhver slutning foretaget af arbejdere og registrerer ændringer, fejl eller forsøg på svindel. Dets funktioner omfatter:
- Kontroller, at resultaterne ikke er blevet ændret af hverken hardware eller software under operationerne.
- Den opretholder robusthed selv i lyset af den ikke-determinisme, der er typisk for nuværende GPU'er.
- Det muliggør validering meget hurtigere, end det ville koste at generere dataene, hvilket gør overvågning mulig på globalt plan.
Primær intellektprotokol: Orkestrering og samarbejdets økonomi
Den koordinerende protokol, kaldet Prime Intellect Protocol , er den komponent, der muliggør registrering, godkendelse, opgaveallokering, incitamentsstyring og sporbarhed af arbejde. Dens vigtigste bidrag omfatter:
- Et decentraliseret ledger-system (inspireret af blockchain), som registrerer ydeevnen og bidraget fra hver node.
- Specifik software til deltagere, så de kan kommunikere deres tilgængelighed, indsende resultater, modtage opdateringer og operere i isolerede miljøer ved hjælp af Docker.
- En mekanisme til økonomiske og omdømmemæssige incitamenter, hvor deltagerne kan modtage belønninger (endnu ikke i rigtige tokens på testnettet) og skal forpligte sig til et vist beløb, som vil blive trukket tilbage i tilfælde af uærlig adfærd.
- En valideringsperiode på 24 timer for hvert indsendt arbejde, hvor der kan pålægges forholdsmæssige sanktioner, hvis der opdages fejl eller bedrageri.
INTELLECT-2-træning: Opdateringer og resultater
Modeltræning er inspireret af de nyeste metoder og inkorporerer proprietære løsninger for at maksimere læringskvalitet, tilpasningsevne og effektivitet. Blandt de vigtigste innovationer er:
Forstærkningslæring med længdekontrol
En af de største udfordringer for nuværende sprogmodeller er at optimere tid og omkostninger ved inferens uden at gå på kompromis med kvaliteten i komplekse opgaver. For at imødegå dette blev der implementeret et "tænkende budget"-system, som gør det muligt via prompts at justere antallet af tokens, som modellen skal bruge, før der gives et svar.
Takket være denne funktion kan korte budgetter allokeres til simple problemer og store budgetter (flere "ræsonnementstokens") til komplekse udfordringer, afhængigt af behandlingshardwarens kapacitet. Dette forbedrer ikke kun effektivitet og hastighed, men muliggør også bedre udnyttelse af heterogene netværksressourcer og hjælper med at tilpasse modellen til mere fleksible implementeringer i den virkelige verden.
Intelligent datafiltrering: kvalitet frem for kvantitet
Under design af datasættet og træningsstrategierne identificerede udviklerne et centralt punkt: der er ingen mening i at træne modellen på problemer, den allerede løser perfekt. Derfor anvendes en dobbeltfiltrering:
- Offlinefiltrering: Mange problemer analyseres, adskillige svar opnås, og kun dem, der repræsenterer en reel udfordring for modellen, bevares (en opløsningsrate på 75 % eller derunder i tidligere tests).
- Onlinefiltrering: Hvis alle forsøg på en opgave under træning resulterer i den samme belønning, anses problemet for ikke at give nogen læring og bruges ikke til at opdatere modellen. På denne måde prioriteres altid virkelig lærerige opgaver og prøver, hvilket forbedrer ressourceudnyttelsen og systemets endelige kvalitet.
Opskrifter, benchmarks og sammenligning med andre modeller
Den anvendte basismodel er QwQ-32B, hvorpå avancerede teknikker som GRPO (Generalized Reinforcement Policy Optimization) , verificerbare belønninger fra matematik og programmeringsdomæner samt stabiliseringsmekanismer specifikt designet til asynkron distribueret træning anvendes.
Der anvendes et dobbelt målsystem: belønninger for korrekte svar i matematik- og kodningsproblemer (0 eller 1) og belønninger for nærhed til den ønskede ræsonnementlængde. For at stabilisere opdateringen introduceres tovejs klipning af token-sandsynlighederne, hvilket begrænser både stigninger og fald baseret på den opnåede fordel (med parametre som delta og epsilon til at regulere marginen).
Ifølge de offentliggjorte data overgår INTELLECT-2 QwQ-32B betydeligt i matematik- og programmeringsopgaver, selvom den viser et lille fald i benchmarks som IFEval, sandsynligvis på grund af datasættets specifikke sammensætning.
Deltagelse: Hvordan alle kan bidrage og drage fordel
Et af de mest revolutionerende aspekter ved INTELLECT-2 er dets åbenhed: Enhver med en passende GPU kan tilslutte sig netværket, bidrage med computerkraft og aktivt deltage i træning af banebrydende AI-modeller. Processen er designet til at være enkel: følg blot instruktionerne på det dedikerede dashboard, installer den nødvendige software, og begynd at modtage opgaver, validere resultater og optjene belønninger.
Det betyder:
- Demokratisk og global adgang til udviklingen af store modeller, traditionelt forbudt for store virksomheder.
- Mulighed for små grupper, universiteter eller uafhængige udviklere til at bidrage til og drage fordel af kollektiv teknologisk udvikling.
- Opbygning af et selvstændigt fællesskab, der er i stand til i fællesskab at løse problemer, rette fejl og forbedre teknologi.
Sikkerhed, validering og økonomi: hvordan integritet og ærlighed garanteres
For at forhindre svindel, manipulation og forsøg på at "manipulere" systemet (såsom at indsende falske data, forfalske hardware eller oppuste resultater) introducerer INTELLECT-2 flere sikkerhedsforanstaltninger:
- Hver node skal committe et vist antal tokens (på testnet for nu), som trækkes tilbage, hvis der opdages misbrug.
- Løbende validering af andre noder og protokollen, herunder TOPLOC-verifikation og loggennemgang.
- 24-timers vinduer til at gennemgå arbejde og anvende sanktioner, når det er nødvendigt.
Økonomien bag systemet er inspireret af kryptovalutaer og blockchain-filosofi, men tilpasset virkeligheden af kollaborativ AI-træning: incitamenter for et veludført stykke arbejde og afskrækkende virkninger af forsøg på sabotage eller manipulation.
Nuværende anvendelser og anvendelser af INTELLECT-2
I øjeblikket fokuserer INTELLECT-2 primært på matematisk ræsonnement, problemløsning i programmering og avancerede logiske benchmarks. Dette er ikke tilfældigt: disse domæner er beregningsmæssigt krævende og kræver modeller, der er i stand til struktureret og langvarig "tænkning". For at lære mere om det grundlæggende i kunstig intelligens og dens grundlag, kan du besøge Artificial Neural Networks.
INTELLECT-2's infrastruktur og tilgang er dog perfekt anvendelig på mange andre områder, lige fra videnskabelig forskning og generering af komplekst indhold til beslutningstagning i usikre miljøer. Dens fremtidige potentiale er praktisk talt ubegrænset, især hvis fællesskabet fortsætter med at vokse og udvide sine anvendelsesområder.
Fremtiden for kollaborativ AI: næste skridt og udfordringer
Udviklerne af INTELLECT-2 har annonceret, at den nuværende implementering kun er begyndelsen. Blandt de næste planlagte skridt er:
- End-to-end træning af AI-agenter, der er i stand til at lære at bruge eksterne værktøjer, såsom kodefortolkere eller videnskabelige applikationer.
- Udvidelse og forbedring af opgavebiblioteker og verifikationsmiljøer, hvilket letter fællesskabets bidrag til udvælgelse og kvalitetskontrol af problemer, der skal løses.
- Løbende optimering af infrastrukturen for yderligere at minimere latenstid, inferens- og træningsomkostninger samt onboarding-vanskeligheder for nye deltagere.
Udfordringerne omfatter at sikre skalerbarhed uden at gå på kompromis med ydeevnen, styrke sikkerheden mod potentielle angreb og opretholde den aktive deltagelse fra et stadig mere mangfoldigt fællesskab. For at lære mere om, hvordan infrastrukturens skalerbarhed håndteres , inviterer vi dig til at konsultere specialiserede ressourcer.
INTELLECT-2 repræsenterer et af de mest ambitiøse og lovende initiativer til at bringe avanceret kunstig intelligens ind i det åbne, globale samarbejde. Dens engagement i decentralisering, gennemsigtighed og belønninger fra lokalsamfundet gør den til en model for fremtidige generationer af AI og demonstrerer, at den kombinerer banebrydende teknologi med en demokratisk og samarbejdsorienteret ånd. Hvis du er interesseret i AI og har computerressourcerne, så tøv ikke med at undersøge muligheden for at deltage: fremtiden for kunstig intelligens kan bogstaveligt talt ligge i dine hænder.