- Raspberry Pi 4 un jaudīgā Model 5 aparatūras iespēju analīze.
- Ārējo paātrinātāju, piemēram, AI HAT+ 2, izpēte, lai optimizētu ģeneratīvo secinājumu izdarīšanu.
- Lokālo kvantizēto modeļu izmantošanas un atbalsta ārējās API infrastruktūrās salīdzinājums.
- Ieviešanas metodoloģijas, izmantojot tādus rīkus kā Ollama, llama.cpp un Python vides.
Ja kādreiz esat sapņojis par JARVIS stila viedpalīgu, kas darbojas jūsu mājās, nepaļaujoties uz mākoņpakalpojumiem un ar pilnīgu privātumu, jūs droši vien esat domājis, vai tāda maza plate kā Raspberry Pi to var apstrādāt. Īsā atbilde ir jā, lai gan pieredze ievērojami atšķiras atkarībā no tā, vai izmantojat pamata aparatūru vai nolemjat pievienot papildu jaudu ar specializētiem paātrinātājiem.
Paplašināto valodu modeļu (LLM) izmantošana perifērijas skaitļošanas sistēmās ļauj apstrādāt datus tieši ierīcē. Tas ne tikai novērš ikmēneša mākoņpakalpojumu maksas, bet arī nodrošina, ka jūsu dati paliek jūsu mājās — tas ir ļoti svarīgi tiem, kas novērtē mājas tīkla un lietu interneta drošību un vēlas eksperimentēt ar mākslīgo intelektu bez ārējiem ierobežojumiem.
Aparatūra un iespējas: no Pi 4 līdz Pi 5
Sākumā ir svarīgi saprast, ka ne visas plates ir vienādas. Uz Raspberry Pi 4 ir iespējams darbināt vieglus modeļus, taču veiktspēja ir pieticīga. Izmantojot tādus rīkus kā Ollama , var ielādēt tādus modeļus kā tinydolphin , kas ļauj tērzēt, izmantojot termināli. Lai gan sākotnējais sāknēšanas process var ilgt dažas minūtes, un ierīcei var būt nepieciešams zināms laiks, lai "domātu" pirms atbildes sniegšanas, kad tā sāk rakstīt, tā to dara ar ātrumu, kas ir pieņemams vienkāršiem uzdevumiem.
Pārejot uz Raspberry Pi 5, situācija uzlabojas, pateicoties tā jaudīgākajai ARM arhitektūrai. Šeit RAM kļūst par kritisko faktoru; ļoti ieteicama ir 8 GB RAM versija . Lai optimizētu vietu, tiek izmantotas kvantēšanas metodes (piemēram, int4 vai 4 bitu) , kas samazina modeļa izmēru, ļaujot tam ietilpt atmiņā, neupurējot pārāk lielu precizitāti.
Visprasīgākajiem lietotājiem ir pieejams Raspberry Pi AI HAT+ 2. Šis papildinājums maina spēles noteikumus, integrējot Hailo-10H paātrinātāju . Kamēr iepriekšējais HAT koncentrējās uz datorredzi (objektu noteikšanu vai ainas segmentēšanu), jaunais modelis ir īpaši izstrādāts, lai pārvarētu plaisu ģeneratīvajā mākslīgajā intelektā, piedāvājot 40 TOPS secinājumu veiktspēju un 8 GB RAM, kas veltīta tikai paātrinātājam.
Tehniskā ieviešana un programmatūra
Ja jūs nolemjat izvēlēties tīras programmatūras ceļu ar Pi 5, call.cpp Tas ir standarta rīks. Izmantojot Python saistījumus, var ielādēt modeļus GGUF formātā (piemēram, Orca-Mini-3B). Darbplūsma ietver virtuālas vides izveidi un instalēšanu. llama-cpp-python un konfigurējiet skriptu procesora pavedienu un lietotāja uzvedņu pārvaldībai. Lai uzraudzītu, vai plate neavar, ir ļoti noderīgi izmantot mprof, kas ļauj analizēt izpildes laikā patērēto maksimālo RAM atmiņas apjomu.
Tiem, kas iegādājas AI HAT+ 2, arhitektūra kļūst robustāka. Ideāla pieeja ir instalēt Hailo kodola draiveri un tam atbilstošo izpildlaiku. Praktisku apsvērumu dēļ ieteicams konfigurēt hailo-ollama kā sistēmas pakalpojumu (systemd), kas tiek automātiski palaists, kad plate tiek ieslēgta, un 8000. portā tiek atklāta ar Ollama saderīga API.
Lai izvairītos no pastāvīgas saskares ar komandrindu, varat instalēt Atveriet WebUIŠī tīmekļa saskarne pārveido Raspberry Pi par profesionālu tērzēšanas serveri, kam var piekļūt no jebkuras pārlūkprogrammas lokālajā tīklā. OLLAMA_BASE_URL Pareizi, mums ir plūstoša saskarne, kas sazinās ar Hailo aparatūru, ļaujot izmantot tādus modeļus kā Qwen2 vai Qwen2.5 kodētājs lokālai programmēšanai un tulkošanas uzdevumiem.
Ieteicamie modeļi un optimizācija
Ir ļoti svarīgi būt reālistiskam: modelis ar 1 līdz 7 miljardiem parametru, kas darbojas uz Raspberry Pi, vispārējo zināšanu ziņā nekonkurēs ar GPT-4 vai Claude, kuriem ir miljardiem parametru. Tomēr mazi modeļi ir lieliski, ja tos precīzi noregulē . AI HAT+ 2 ļauj izmantot LoRA (zemas ranga adaptāciju) , kas nozīmē, ka modeli var pielāgot ļoti specifiskam uzdevumam, neapmācot visu sistēmu atkārtoti.
- TinyDolphin: Ideāli piemērots Raspberry Pi 4, pateicoties tā ļoti zemajam enerģijas patēriņam.
- Orca-Mini-3B: Stabils līdzsvars Pi 5, izmantojot llama.cpp.
- Qwen2 / Qwen2.5: Optimizēta Hailo-10H ekosistēmai, ideāli piemērota kodēšanai un tērzēšanai.
- VLM (redzes-valodas modeļi): Spēj aprakstīt Pi kameras uzņemtos attēlus reāllaikā.
Ja lokālā veiktspēja ražošanas lietojumprogrammai joprojām ir nepietiekama, pastāv hibrīda alternatīva. Varat izstrādāt lokāli, bet deleģēt secinājumus ārējām API, piemēram, SiliconFlow . Tas ļauj saglabāt loģiku Raspberry Pi, bet saņemt tūlītējas atbildes, izmantojot mākoni, ar ārkārtīgi zemām izmaksām par miljonu žetonu, tādējādi novēršot ierīces pārkaršanu vai palēnināšanos.
Mākslīgā intelekta mezgla iestatīšana perifērijā prasa pacietību, īpaši ar kodola atkarībām no tādiem izplatījumiem kā Ubuntu Server. Oficiālo Raspberry Pi repozitoriju izmantošana bieži vien ir stabilāka nekā visa kompilēšana no nulles. Lai gan ekosistēma joprojām šķiet nedaudz nenobriedusi un pastāv neatbilstības starp GenAI pakotņu versijām un oficiālo dokumentāciju, gala rezultāts ir klusa, privāta un ļoti daudzpusīga sistēma, kas pārveido plati par autonomām smadzenēm mājas automatizācijai.
