- Techninis skirtumas tarp atvirojo svorio modelių ir tikrojo atvirojo kodo dirbtinio intelekto srityje.
- Strateginės paralelės tarp masinio „Kubernetes“ diegimo konteineriuose ir dabartinės atvirųjų modelių tendencijos.
- Optimizuotų išvadų architektūrų praktinis įgyvendinimas naudojant vLLM ir KubeAI debesų aplinkoje.
- Modelių svorio demokratizacijos ir uždarų laboratorijų kontrolės geopolitinis ir ekonominis poveikis.
Žvelgiant atgal į 2015-uosius, kiekvienas, norintis sukurti paskirstytą sistemą, susidūrė su dilema. Buvo „Apache Mesos“, jau gerai įsitvirtinusi ir tokių gigantų kaip „Twitter“ ir „Airbnb“ pageidaujamas pasirinkimas, ir „Docker Swarm“, kuris buvo daug paprastesnis ir labiau pažįstamas. Visa tai sustabdžius, atsirado naujokas, pavadintas „Kubernetes“, kurį pristatė „Google“. Tuo metu vyravo nuomonė, kad „Mesos“ skirtas tikrajai infrastruktūrai, o „Kubernetes“ – tik žaislas. Net „Amazon“ nusprendė, užuot prisijungusi prie šios tendencijos, sukurti savo elektroninių ryšių sistemą (ECS). Tačiau visi žinome, kuo ši istorija baigėsi.
„Kubernetes“ laimėjo ne todėl, kad tuo metu buvo pažangiausia technologija, o todėl, kad jai pavyko tapti pramonės traukos centru . Ji virto neutraliu pagrindu, ant kurio debesijos paslaugų teikėjai, inžinieriai ir pardavėjai galėjo be baimės kurti savo pozicijas. Kai ji pasiekė kritinę masę, inovacijos išpopuliarėjo: bendruomenės dėka pradėtos spręsti saugojimo, saugumo ir stebimumo problemas. Šiandien matome, kaip dirbtinio intelekto ekosistema kartoja tą patį scenarijų, ir tie, kurie suvoks šį modelį, galės priimti daug labiau pagrįstus sprendimus dėl technologijų.
Atvirieji pesai ar atvirojo kodo programinė įranga? Tai ne tas pats dalykas
Kad išvengtume painiavos, paaiškinkime kai kurias sąvokas. Daugelis žmonių modelius vadina „atvirojo kodo“, kai jie iš tikrųjų yra atvirojo svertinio algoritmo . Tai reiškia, kad galite atsisiųsti iš anksto apmokytus parametrus, juos koreguoti ir paleisti bet kur, bet neturite prieigos prie mokymo duomenų ar viso kūrimo proceso. Atvirojo kodo iniciatyva (OSI) yra daug griežtesnė: jiems atviras dirbtinis intelektas turi apimti mokymo kodą ir naudojamą duomenų rinkinį.
Teisininkui šis skirtumas yra esminis, tačiau eiliniam kūrėjui tai nerūpi, svarbu, kad įrankis veiktų ir būtų pritaikomas. Tai panašu į „Kubernetes“ (visiškai atvirojo kodo) palyginimą su dvejetainiais „Linux“ distribucijomis; gaunate sukompiliuotą artefaktą ir galite jį modifikuoti, net jei originalus kūrimo procesas priklauso kūrėjui. Galiausiai bendruomenė teikia pirmenybę naudojimo patogumui, o ne licencijos grynumui, atsižvelgdama į tokius aspektus kaip atsakomybė dirbtinio intelekto srityje ir jo etiniai iššūkiai.
Ekosistema jau yra čia ir juda visu greičiu.
Šios aplinkos augimo greitis stulbina. „HuggingFace“ jau talpina milijonus modelių, o aplink tokias šeimas kaip „Llama“, „Mistral“, „Qwen“ ir „Gemma“ kuriama viskas, ką tik galima įsivaizduoti: nuo kvantinių versijų , skirtų veikti mobiliuosiuose įrenginiuose ar „Apple Silicon“, iki „LoRa“ adapterių, specializuotų teisės, medicinos ar programavimo srityse. Be to, atsirado tokios vykdymo aplinkos kaip „vLLM“ ir „SGLang“, kurios valdo didelio našumo išvadas nuolatinio paketavimo būdu, o „Ollama“ leidžia paleisti modelį lokaliai viena komanda.
Buvo laikas, kai argumentas prieš atvirojo kodo modelius buvo tas, kad jie negali konkuruoti su GPT-4 ar Claude. Tačiau šis atotrūkis beveik visiškai išnyko. Tokie modeliai kaip GLM-5.2 ar Kimi K3 demonstruoja pažangiausią našumą , ypač atliekant sudėtingas kodo užduotis, kartais pranokdami uždarojo kodo versijas konkrečiuose etalonuose. Kai atvirojo kodo modeliai yra „pakankamai geri“, tinklo efektas, kuris skatino „Kubernetes“, pradeda veikti su nesustabdoma jėga.
Tiesioginės paralelės: nuo konteinerių iki dirbtinio intelekto
Jei analizuosime struktūrą, analogija beveik tiksli. Baziniai modeliai („Llama“, „Qwen“) veikia kaip dirbtinio intelekto „Docker“: jie suteikia standartizuotą atspirties tašką , kurį bet kuris kūrėjas gali atsisiųsti ir pritaikyti, kaip mes darėme su „Ubuntu“ ar „Alpine“ atvaizdais. Tuo tarpu tokios priemonės kaip „Ollama“ ar „llama.cpp“ atlieka „Docker Compose“ funkciją, todėl modelio integravimas į vietinę kūrimo aplinką yra toks pat paprastas, kaip „PostgreSQL“ konteinerio pridėjimas.
Kitas žingsnis – standartų sluoksnis, „Kubernetes“ atitikmuo. Nors jis vis dar apibrėžiamas, jau galime matyti jo dalis: GGUF arba GPTQ formatai veikia kaip OCI atvaizdai, su „OpenAI“ suderinama API yra standartinė sąsaja, o „Hugging Face“ yra „Docker Hub“ modeliams. Kas sugebės įvaldyti šį paslaugų ir diegimo sluoksnį, tas pasinaudos didžiąja dalimi pramonės inovacijų.
Praktinis įgyvendinimas Kubernetes aplinkoje
Tiems, kurie dirba su „Java“ ir „Spring Boot“, tai yra esminis momentas. Dėl tokių sistemų kaip „Spring AI“ ir „LangChain4j“, dabar galima kurti pagal vietinį modelį ir tada perkelti į gamybinę aplinką tiesiog pakeičiant konfigūracijos failo savybę. Mes nebepasikliaujame išoriniais API raktais ar duomenimis, paliekančiais mūsų tinklą, o tai gyvybiškai svarbu tokiems sektoriams kaip bankininkystė ir sveikatos apsauga, kur duomenų privatumas yra svarbiausias.
Techniniu požiūriu, yra du pagrindiniai diegimo „Kubernetes“ (konkrečiai, GKE) būdai. Viena vertus, galime naudoti vLLM tiesiogiai kaip išvadų variklį, kad maksimaliai kontroliuotume našumą. Kita vertus, galime pasirinkti „KubeAI“ – originalią „Kubernetes“ platformą modelių valdymui. „KubeAI“ leidžia valdyti modelių katalogą ir siūlo tokias funkcijas kaip mastelio keitimas iki nulio , kuris sumažina eksploatavimo išlaidas, nes GPU neįjungiami, kai nėra užklausų, nors tai ir sukelia tam tikrą šaltojo paleidimo delsą.
Ekonominiai ir geopolitiniai debatai
Tai ne vien techninis optimizmas; vyksta šaltasis karas. Kinijos modeliai sparčiai auga pagal atsisiuntimų skaičių, todėl kai kurie JAV sektoriai svarsto apribojimus. Tačiau techniškai beveik neįmanoma uždrausti modelio dėl jo kilmės, nes svoriai tėra skaičiai ir neturi tautybės žymos. Bet kokį naivų bandymą uždrausti būtų lengva apeiti.
Be to, egzistuoja ekonominė įtampa. Kai kurie ekspertai teigia, kad atvirojo svorio modeliai yra „lėtinimo“ modeliai, nes sumažindami vertę, kurią gali užfiksuoti pažangios laboratorijos, jie gali atgrasyti nuo didelių infrastruktūros investicijų (CAPEX). Jei 700.000 milijardų dolerių investicijos negarantuoja pelno monopolio, kapitalas gali būti atimtas. Tačiau istorija rodo, kad atvira standartizacija dažnai paspartina masinį diegimą, sumažindama tūkstančių startuolių įėjimo išlaidas.
Jei esate kūrėjas ir nenorite atsilikti, idealus būdas – pradėti eksperimentuoti su lokaliai kvantuotais modeliais. Jums nereikia didžiulės GPU, nes tokie formatai kaip Q4 leidžia 7B modeliui priimtinai veikti šiuolaikiniuose procesoriuose. Labai svarbu naudoti sąsajas, suderinamas su „OpenAI“ , nes tai yra de facto standartas, nepriklausomai nuo to, ar naudojate vLLM, SGLang, ar LocalAI. Galiausiai, supratimas apie kvantavimo formatų (pvz., Q4_K_M arba Q8_0) skirtumą leis optimizuoti RAM naudojimą ir programų reagavimą.
Kompiuterijos istorija mus išmokė, kad atviros platformos, leidžiančios masiškai pritaikyti sprendimus, galiausiai pranoksta bet kurį uždarą tiekėją, nepriklausomai nuo pastarojo išteklių. Šiuo metu išgyvename dirbtinio intelekto „Kubernetes“ erą, kai galimybė paleisti individualius modelius kontroliuojamoje infrastruktūroje grąžina technologinį suverenitetą kūrėjams ir įmonėms.