- Avatud kaaluga mudelite ja tõelise avatud lähtekoodiga tehisintellekti tehniline eristamine.
- Strateegilised paralleelid Kubernetes'i massilise konteinerites kasutuselevõtu ja praeguse avatud mudelite suundumuse vahel.
- Optimeeritud järeldusarhitektuuride praktiline rakendamine pilvekeskkondades, kasutades vLLM-i ja KubeAI-d.
- Mudelite kaalu demokratiseerimise ja suletud laborite kontrolli vahelise seose geopoliitiline ja majanduslik mõju.
2015. aastasse tagasi vaadates seisis igaüks, kes soovis luua hajussüsteemi, dilemma ees. Oli Apache Mesos, mis oli juba hästi tuntud ja eelistatud valik sellistele hiiglastele nagu Twitter ja Airbnb, ning Docker Swarm, mis oli palju lihtsam ja tuttavam. Kõige selle keskel ilmus Google'i loodud uustulnuk nimega Kubernetes. Tol ajal oli valdav arvamus, et Mesos on mõeldud päris infrastruktuuri jaoks ja Kubernetes on vaid mänguasi. Isegi Amazon otsustas selle asemel, et rongile hüpata, käivitada oma ECS-i. Aga me kõik teame, kuidas see lugu lõppes.
Kubernetes ei võitnud mitte sellepärast, et see oli tollal kõige arenenum tehnoloogia, vaid sellepärast, et sellel õnnestus saada valdkonna raskuskeskmeks . Sellest sai neutraalne alus, millele pilveteenuse pakkujad, insenerid ja müüjad said kartmatult ehitada. Kui see kriitiline mass saavutati, plahvatas innovatsioon: tänu kogukonnale hakati lahendama salvestus-, turvalisus- ja jälgitavusprobleeme. Tänapäeval näeme, kuidas tehisintellekti ökosüsteem kordab täpselt sama skripti ja need, kes sellest mustrist aru saavad, suudavad teha palju teadlikumaid tehnoloogilisi otsuseid.
Avatud peesod või avatud lähtekoodiga tarkvara? Need pole sama asi
Segaduse vältimiseks selgitame mõningaid mõisteid. Paljud inimesed nimetavad mudeleid "avatud lähtekoodiga", kui need on tegelikult avatud kaaluga . See tähendab, et saate alla laadida eeltreenitud parameetreid, neid kohandada ja käivitada kõikjal, kus soovite, kuid teil pole juurdepääsu treeningandmetele ega kogu loomise protsessile. Avatud lähtekoodi algatus (OSI) on palju rangem: nende jaoks peab avatud tehisintellekt sisaldama treeningkoodi ja kasutatavat andmestikku.
Juristide jaoks on see erinevus põhimõtteline, kuid tavalist arendajat see tegelikult ei huvita, peaasi, et tööriist töötaks ja oleks kohandatav. See on nagu Kubernetes'i (täielikult avatud lähtekoodiga) võrdlemine binaarsete Linuxi distributsioonidega; saate kompileeritud artefakti ja saate seda muuta, isegi kui algne ehitustorustik kuulub loojale. Lõppkokkuvõttes seab kogukond kasutatavuse litsentsi puhtusest kõrgemale, arvestades selliseid aspekte nagu vastutus tehisintellekti valdkonnas ja selle eetilised väljakutsed.
Ökosüsteem on juba olemas ja see liigub täiskiirusel.
Selle keskkonna kasvu kiirus on hämmastav. HuggingFace majutab juba miljoneid mudeleid ja selliste perekondade nagu Llama, Mistral, Qwen ja Gemma ümber arendatakse kõike ettekujutatavat: alates kvantiseeritud versioonidest mobiilseadmetes või Apple Siliconil töötamiseks kuni LoRa adapteriteni, mis on spetsialiseerunud õigusteadusele, meditsiinile või programmeerimisele. Lisaks on tekkinud käituskeskkonnad nagu vLLM ja SGLang, mis haldavad suure jõudlusega järeldusi pideva partiide töötlemise kaudu, samas kui Ollama võimaldab teil mudelit lokaalselt ühe käsuga käivitada.
Oli aeg, mil avatud lähtekoodiga mudelite vastu esitati argument, et need ei suuda GPT-4 või Claude'iga konkureerida. See vahe on aga peaaegu täielikult kadunud. Sellised mudelid nagu GLM-5.2 või Kimi K3 demonstreerivad tipptasemel jõudlust , eriti keerukate koodiülesannete puhul, edestades mõnikord teatud võrdlusalustes suletud lähtekoodiga versioone. Kui avatud lähtekoodiga mudelid on "piisavalt head", hakkab Kubernetes'i edendanud võrguefekt peatamatu jõuga toimima.
Otsesed paralleelid: konteineritest tehisintellektini
Kui analüüsida struktuuri, on analoogia peaaegu täpne. Baasmudelid (Llama, Qwen) toimivad tehisintellekti Dockerina: need pakuvad standardiseeritud lähtepunkti , mille iga arendaja saab alla laadida ja kohandada, just nagu me tegime Ubuntu või Alpine'i piltidega. Samal ajal täidavad sellised tööriistad nagu Ollama või llama.cpp Docker Compose'i funktsiooni, muutes mudeli integreerimise kohalikku arenduskeskkonda sama lihtsaks kui PostgreSQL-i konteineri lisamine.
Järgmine samm on standardite kiht, mis on Kubernetesega samaväärne. Kuigi seda alles defineeritakse, näeme selle osi juba: GGUF- või GPTQ-vormingud toimivad OCI-kujutistena, OpenAI-ga ühilduv API on standardliides ja Hugging Face on mudelite Docker Hub. See, kes selle teenuse- ja juurutuskihi omandab , saab osa suuremast osast valdkonna innovatsioonist.
Praktiline rakendamine Kuberneteses
Java ja Spring Bootiga töötavatele inimestele on see pöördeline hetk. Tänu sellistele raamistikele nagu Spring AI ja LangChain4j on nüüd võimalik arendada kohaliku mudeli alusel ja seejärel migreerida tootmisklastrisse lihtsalt konfiguratsioonifailis olevat atribuuti muutes. Me ei sõltu enam välistest API-võtmetest ega meie võrgust lahkuvatest andmetest, mis on ülioluline sellistes sektorites nagu pangandus ja tervishoid, kus andmete privaatsus on ülioluline.
Tehnilisest küljest on Kuberneteses (täpsemalt GKE-s) juurutamiseks kaks peamist teed. Ühelt poolt saame vLLM-i otse järeldusmootorina kasutada, et saavutada maksimaalne kontroll jõudluse üle. Teiselt poolt saame valida KubeAI, mis on Kuberneteses loodud mudelihaldusplatvorm. KubeAI võimaldab hallata mudelikataloogi ja pakub selliseid funktsioone nagu nullini skaleerimine , mis vähendab tegevuskulusid, kuna GPU-sid ei hoia sisse lülitatuna, kui päringuid pole, kuigi see tekitab teatud külmkäivituse latentsust.
Majanduslik ja geopoliitiline debatt
See pole ainult tehniline optimism; käimas on külm sõda. Hiina mudelid on allalaadimiste arvus muljetavaldavat kasvu saavutamas, mis on pannud mõned sektorid USA-s kaaluma piirangute kehtestamist. Mudeli päritolu alusel keelustamine on aga tehniliselt peaaegu võimatu, kuna kaalud on lihtsalt numbrid ega kanna rahvusmärgist. Iga naiivset keelustamiskatset oleks lihtne mööda hiilida.
Lisaks on olemas majanduslik pinge. Mõned eksperdid väidavad, et avatud kaalumudelid on "aeglustavad", sest vähendades väärtust, mida piirialalaborid saavad luua, võivad need takistada ulatuslikke taristuinvesteeringuid (CAPEX). Kui 700.000 miljardi dollari investeerimine ei taga kasumi monopoli, võidakse kapital välja võtta. Ajalugu aga näitab, et avatud standardiseerimine kiirendab sageli massilist kasutuselevõttu, vähendades tuhandete idufirmade sisenemiskulusid.
Kui oled arendaja ja ei taha maha jääda, on ideaalne lähenemisviis hakata katsetama lokaalselt kvantiseeritud mudelitega. Sa ei vaja massiivset graafikaprotsessorit, kuna formaadid nagu Q4 võimaldavad 7B mudelil tänapäevastel protsessoritel vastuvõetavalt töötada. Oluline on kasutada OpenAI-ga ühilduvaid liideseid , kuna see on de facto standard, olenemata sellest, kas kasutad vLLM-i, SGLang-i või LocalAI-d. Lõpuks võimaldab kvantimisvormingute (näiteks Q4_K_M või Q8_0) erinevuse mõistmine sul optimeerida RAM-i kasutust ja rakenduste reageerimisvõimet.
Arvutiteaduse ajalugu on meile õpetanud, et avatud platvormid, mis võimaldavad massilist kohandamist, edestavad lõppkokkuvõttes iga suletud müüja omi, olenemata viimase ressurssidest. Praegu kogeme tehisintellekti Kubernetesi ajastut, kus võime käitada kohandatud mudeleid kontrollitud infrastruktuuril annab tehnoloogilise suveräänsuse arendajatele ja ettevõtetele tagasi.