- Nii Raspberry Pi 4 kui ka võimsa Model 5 riistvaraliste võimete analüüs.
- Väliste kiirendite, näiteks tehisintellekti HAT+ 2, uurimine generatiivse järelduse optimeerimiseks.
- Lokaalsete kvantiseeritud mudelite kasutamise ja väliste API infrastruktuuride toe võrdlus.
- Rakendusmetoodikad, mis kasutavad selliseid tööriistu nagu Ollama, llama.cpp ja Pythoni keskkonnad.
Kui oled kunagi unistanud JARVIS-stiilis nutikassistendi omamisest kodus, ilma pilveteenusteta ja täieliku privaatsusega, oled ilmselt mõelnud, kas selline väike tahvel nagu Raspberry Pi sellega hakkama saab. Lühike vastus on jah, kuigi kogemus varieerub suuresti olenevalt sellest, kas kasutad põhilist riistvara või otsustad lisada lisavõimsust spetsiaalsete kiirendite abil.
Laiaulatuslike keelemudelite (LLM) käitamine servas andmetöötluses võimaldab töötlemist otse seadmes. See mitte ainult ei välista igakuiseid pilveteenuse tasusid, vaid tagab ka, et teie andmed jäävad teie koju – see on ülioluline neile, kes hindavad koduvõrgu ja asjade interneti turvalisust ning soovivad katsetada tehisintellektiga ilma väliste piiranguteta.
Riistvara ja võimalused: Pi 4-st Pi 5-ni
Alustuseks on oluline mõista, et kõik lauad ei ole võrdsed. Raspberry Pi 4-l on võimalik käitada kergeid mudeleid, kuid jõudlus on tagasihoidlik. Selliste tööriistade nagu Ollama abil saate laadida mudeleid nagu tinydolphin , mis võimaldavad teil terminali kaudu vestelda. Kuigi esialgne käivitusprotsess võib võtta paar minutit ja masinal võib enne vastamist "mõtlemiseks" aega kuluda, teeb see pärast kirjutamist seda lihtsate ülesannete jaoks vastuvõetava kiirusega.
Raspberry Pi 5-le liikudes paraneb olukord tänu võimsamale ARM-arhitektuurile. Siin saab RAM-ist kriitilise tähtsusega tegur; 8 GB RAM- iga versioon on väga soovitatav . Ruumi optimeerimiseks kasutatakse kvantimistehnikaid (näiteks int4 või 4-bitine) , mis vähendavad mudeli suurust, võimaldades sellel mällu mahtuda ilma liigset täpsust ohverdamata.
Kõige nõudlikumatele kasutajatele on saabunud Raspberry Pi AI HAT+ 2. See lisandmoodul muudab mängu, integreerides Hailo-10H kiirendi . Kui eelmine HAT keskendus arvutinägemisele (objektide tuvastamine või stseeni segmenteerimine), siis uus mudel on spetsiaalselt loodud generatiivse tehisintellekti lõhe ületamiseks, pakkudes 40 TOPS-i järeldusjõudlust ja 8 GB muutmälu, mis on pühendatud ainult kiirendile.
Tehniline teostus ja tarkvara
Kui otsustate Pi 5 puhul minna puhtalt tarkvaralise tee peale, call.cpp See on standardne tööriist. Pythoni seoste kaudu saab laadida GGUF-vormingus mudeleid (näiteks Orca-Mini-3B). Töövoog hõlmab virtuaalse keskkonna loomist ja installimist. llama-cpp-python ja konfigureerige skript protsessori lõimede ja kasutajaviipade haldamiseks. Selleks, et jälgida, et plaat ei krahhiks, on väga kasulik kasutada mprof, mis võimaldab teil analüüsida täitmise ajal tarbitud RAM-mälu tippvõimsust.
AI HAT+ 2 ostjate jaoks muutub arhitektuur robustsemaks. Ideaalne lähenemisviis on Hailo kerneli draiveri ja sellele vastava käituskeskkonna installimine. Praktilisuse huvides on soovitatav konfigureerida hailo-ollama süsteemiteenusena (systemd), mis käivitub automaatselt plaadi sisselülitamisel, avades pordil 8000 Ollama-ühilduva API.
Käsurea pideva kasutamise vältimiseks võite installida Ava veebikasutajaliidesSee veebiliides muudab Raspberry Pi professionaalseks vestlusserveriks, millele pääseb ligi igast kohaliku võrgu brauserist. OLLAMA_BASE_URL Õigesti, meil on Hailo riistvaraga suhtlev sujuv liides, mis võimaldab kasutada selliseid mudeleid nagu Qwen2 või Qwen2.5-kooder kohaliku programmeerimise ja tõlkeülesannete jaoks.
Soovitatavad mudelid ja optimeerimine
Realism on ülioluline: Raspberry Pi-l töötav 1–7 miljardi parameetriga mudel ei suuda üldteadmistes konkureerida GPT-4 või Claude'iga, millel on miljardeid parameetreid. Väikesed mudelid on aga suurepärased, kui neid peenhäälestada . AI HAT+ 2 võimaldab kasutada LoRA-d (madala astme adaptatsioon) , mis tähendab, et saate mudelit väga spetsiifilise ülesande jaoks kohandada ilma kogu süsteemi ümber õpetamata.
- PisikeDelfiin: Ideaalne Raspberry Pi 4 jaoks tänu oma väga madalale energiatarbimisele.
- Orca-Mini-3B: Kindel tasakaal Pi 5 jaoks, kasutades llama.cpp-i.
- Qwen2 / Qwen2.5: Optimeeritud Hailo-10H ökosüsteemile, ideaalne koodi kirjutamiseks ja vestluseks.
- VLM-id (nägemis-keele mudelid): Suudab Pi kaamera poolt jäädvustatud pilte reaalajas kirjeldada.
Kui kohalik jõudlus jääb tootmisrakenduse jaoks ebapiisavaks, on olemas hübriidalternatiiv. Saate arendada lokaalselt, kuid delegeerida järeldused välistele API-dele, näiteks SiliconFlow'le . See võimaldab teil hoida loogikat Raspberry Pi-l, kuid saada koheseid vastuseid pilve kaudu äärmiselt madalate miljoni žetooni kuludega, hoides ära seadme ülekuumenemise või aeglustumise.
Tehisintellekti sõlme seadistamine servas nõuab kannatlikkust, eriti kerneli sõltuvuste korral sellistest distributsioonidest nagu Ubuntu Server. Ametlike Raspberry Pi repositooriumide kasutamine on sageli stabiilsem kui kõige nullist kompileerimine. Kuigi ökosüsteem tundub veel mõnevõrra ebaküps ja GenAI paketi versioonide ning ametliku dokumentatsiooni vahel on lahknevusi, on lõpptulemuseks vaikne, privaatne ja väga mitmekülgne süsteem, mis muudab tahvli iseseisvaks koduautomaatika ajuks.
