Kako optimizirati statistiku memorije u Linuxu s NVIDIA GPU-ima

Informatec Digital » Resursi » Kako optimizirati statistiku memorije u Linuxu s NVIDIA GPU-ima

Ako radite s NVIDIA GPU-ima na Linuxu, prije ili kasnije ćete morati razumjeti šta se dešava s memorijom, performansama i internom statistikom vašeg sistema . Bilo da se radi o igranju igara, mašinskom učenju, naučnim simulacijama ili podatkovnom centru, praćenje ovih podataka čini razliku između mašine koja samo "radi" i zaista optimizirane platforme.

Istovremeno, mnogi korisnici dolaze na Linux očekujući bolje performanse nego na Windowsu sa svojim NVIDIA GPU-om , ali se onda susreću s testovima koji ne pokazuju uvijek očekivane rezultate. Ključ leži u poznavanju praćenja, interpretacije i finog podešavanja i operativnog sistema i konfiguracije GPU-a, koristeći specifične alate poput DCGM-a, dcgm-exporter-a, gpu-monitoring-tools -a i rješenja za observabilnost poput Elastic-a.

Performanse NVIDIA GPU-a na Linuxu: očekivanja i stvarnost

Kada neko sa modernom grafičkom karticom, kao što je RTX 4070 ili neka druga vrhunska GPU , razmišlja o prelasku na Linux, vrlo je uobičajeno da istražuje forume, Reddit, YouTube video zapise i sve vrste vodiča. Godinama se ponavljala ideja da Linux uvijek radi bolje od Windowsa, ali stvarnost, kada se pogledaju ozbiljni benchmarkovi i komparativni testovi , je mnogo nijansiranija.

U oblasti igara, Linux se značajno poboljšao zahvaljujući Steamu, Protonu i DXVK-u , koji omogućavaju većini Windows naslova da rade na ovoj platformi. Međutim, prilikom pregleda rezultata u zahtjevnim igrama, isti FPS nivoi kao na Windowsu se ne postižu uvijek, posebno kada igri nedostaje nativna verzija i oslanja se na slojeve kompatibilnosti.

Izvan igara, NVIDIA GPU-ovi su postali osnova visokoperformansne infrastrukture : treniranje neuronskih mreža, simulacije složene fizike, renderiranje i ogromna opterećenja podatkovnih centara. U ovom kontekstu, praćenje korištenja memorije u Linuxu i maksimiziranje performansi NVIDIA GPU-a je ključno, i tu dobar sistem praćenja čini svu razliku.

Također je važno imati na umu da na Linuxu performanse ne zavise isključivo od samog GPU-a, već od kombinacije NVIDIA-inih vlasničkih drajvera, kernela, odabrane distribucije i postavki napajanja i takta kartice. Ako bilo koji od ovih elemenata nije usklađen, benchmarkovi mogu pokazati razočaravajuće rezultate čak i sa vrlo moćnim hardverom.

Zašto je praćenje GPU-a toliko važno u Linuxu?

NVIDIA GPU-ovi više nisu samo "igračke kartice"; postali su centralna komponenta u podatkovnim centrima, javnim oblacima i računarski intenzivnim okruženjima . U mnogim implementacijama, većina računarske snage dolazi iz GPU-a, a ne iz CPU-a, tako da je ignorisanje njegovih metrika performansi jednostavno luksuz koji si ni preduzeća ni napredni korisnici ne mogu priuštiti.

U ovim scenarijima, nije dovoljno znati koliko ukupne memorije imate ili koji je model GPU-a instaliran. Bitno je moći vidjeti korištenje memorije u stvarnom vremenu, opterećenje GPU-a, temperaturu, potrošnju energije , brzine takta i druge interne brojače koji pružaju naznake o uskim grlima ili problemima sa stabilnošću.

Nadalje, Linux je dominantan operativni sistem u računarskim klasterima, HPC-u i cloud AI platformama , tako da se cijela infrastruktura za praćenje obično vrti oko njega. NVIDIA nudi vlastiti stek za prikazivanje metrika, a rješenja poput Elastic Observability omogućavaju centralizaciju ovih podataka, njihovu vizualizaciju i generiranje inteligentnih upozorenja na vrlo fleksibilan način.

Ako koristite NVIDIA GPU-ove s provajderima kao što su Google Cloud, AWS ili Genesis Cloud , praćenje vam ne samo pomaže u otkrivanju grešaka; također vam pomaže da potvrdite da se ono što plaćate u oblaku koristi efikasno, izbjegavajući nepotrebne troškove zbog nedovoljno iskorištenih ili pogrešno konfiguriranih instanci.

Još jedna ključna stvar je da, za razliku od CPU metrika, mnoge GPU metrike nisu tako dobro integrirane u standardne Linux alate. Zbog toga su komponente poput NVIDIA Datacenter GPU Managera (DCGM) i namjenskih izvoznika metrika koje se integriraju s modernim sistemima za praćenje posebno korisne.

Osnovne zavisnosti: NVIDIA drajveri, DCGM i alati za praćenje

Da biste dobili optimiziranu statistiku memorije za Linux na NVIDIA platformi, prvi korak je imati dobro konfigurisano okruženje: ispravne drajvere, GPU alate i rješenje za prikupljanje i vizualizaciju podataka. Besmisleno je imati lijepe grafikone ako sistem ne može dosljedno prikazivati ​​metrike.

U okruženjima podatkovnih centara, NVIDIA pruža Datacenter GPU Manager (DCGM) , koji služi kao osnova za prikupljanje širokog spektra metrika, od korištenja memorije i temperature do detaljnih informacija o internim performansama. Instalacija se obično oslanja na pakete za popularne distribucije kao što je Ubuntu 18.04 i druge kompatibilne verzije.

Tokom procesa podešavanja koji opisuje NVIDIA, važno je obratiti pažnju na detalje kao što je parametar u CUDA repozitorijimaZa tipične 64-bitne sisteme, rezultat naredbe uname -a pokazuje da je arhitektura x86_64Stoga, linije koje se dodaju u sistem paketa moraju ispravno koristiti tu vrijednost.

Tipičan primjer za dodavanje CUDA repozitorija na distribuciju baziranu na Debianu/Ubuntuu bio bi nešto poput ovoga:
echo "deb http://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64 /" | sudo tee /etc/apt/sources.list.d/cuda.list

Također je preporučljivo provjeriti da li dokumentacija sadrži bilo kakve tipografske greške u službenim naredbama, kao što je korištenje dodatnog simbola > prilikom definiranja varijable $distribution u liniji gdje se uvoze GPG ključevi, što se mora ispraviti prije pokretanja:

sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/7fa2af80.pub

Nakon što su drajveri i DCGM instalirani, možemo provjeriti osnovni status GPU-a standardnim nvidia-smi alatom , koji prikazuje model, ukupnu i korištenu memoriju, temperaturu i procese koji u tom trenutku koriste karticu.

Instaliranje alata za praćenje gpu-a i dcgm-exporter-a

Za integraciju Linux memorije i statistike NVIDIA GPU-a sa eksternim sistemima poput Prometheusa ili Elastica, NVIDIA nudi gpu-monitoring-tools , koji uključuje komponentu dcgm-exporter. Ovi uslužni programi se distribuiraju kao Go izvorni kod, tako da morate imati Go instaliran i pravilno konfigurisan na vašem sistemu.

U tipičnom scenariju, Go se preuzima i instalira na /usr/localIzvucite tar.gz datoteku i dodajte Go binarnu datoteku u svoj PATH. Zatim klonirajte službeni repozitorij:
cd /tmp
git clone https://github.com/NVIDIA/gpu-monitoring-tools.git
cd gpu-monitoring-tools/
sudo env "PATH=$PATH:/usr/local/go/bin" make install

Ključna komponenta u ovom paketu je dcgm-izvoznikOva komponenta izlaže DCGM metrike u formatu koji Prometheus može razumjeti. Kada se pokrene, pokreće HTTP server koji, prema zadanim postavkama, osluškuje lokalnu adresu kao što je localhost:9090 i nudi sve dostupne metrike.

Konfiguracija statistike za prikaz definirana je u datoteci /etc/dcgm-exporter/default-counters.csv , koja sadrži desetine unaprijed definiranih brojača. To uključuje metrike vezane za GPU memoriju, temperaturu, potrošnju energije i razne interne indikatore performansi . Za detaljniju kontrolu, dokumentacija DCGM Library API-ja detaljno opisuje kompletnu listu metrika koje se mogu omogućiti.

Prilikom pokretanja dcgm-exporter-a sa komandom poput ove:
dcgm-exporter --address localhost:9090
Vidjet ćete poruke o inicijalizaciji koje pokazuju da je DCGM uspješno pokrenut. Uobičajeno je primati upozorenja o određenim modulima koji se ne učitavaju, kao što su DCP metrike, što u ovom kontekstu može biti ignorisan bez većih problema ako se ne koriste.

Integracija s elastičnom observabilnošću korištenjem Metricbeata

Nakon što se metrike NVIDIA GPU-a prikažu putem dcgm-exportera, sljedeći logičan korak je slanje tih podataka na platformu za observabilnost . Moćna opcija je Elastic Observability, koja koristi komponente poput Metricbeata za prikupljanje metrika i njihovu centralizaciju u Elastic Cloud implementaciji ili samostalno upravljanom steku.

Da bi se to postiglo, prvo se instalira Metricbeat na Linux sistemu gdje je pokrenut dcgm-exporter. Preuzmite .deb paket koji odgovara najnovijoj verziji i instalirajte ga sa dpkg -i i glavna datoteka je konfigurisana /etc/metricbeat/metricbeat.yml tako da ukazuje na implementaciju Elastic Clouda koristeći parametre cloud.id y cloud.auth.

Vrijednost cloud.id Obično ima kodirani oblik koji identificira regiju i elastičnu implementaciju, dok cloud.auth Kombinujte korisničko ime i lozinku, na primjer:
cloud.id: "staging:dXMtY2VudHJhbDEuZ2NwLmNsb3VkLmVzLmlvJDM4ODZkYmUwMWNjODQ2NDM4YjRlNzg5OWEyZDAwNGM5JDBiMTc0YzYyMTVlYTQwYWQ5M2NmMGY4MjVhNzJmOGRk"
cloud.auth: "elastic:J7KYiDku2wP7DFr62zV4zL4y"
(očigledno je da će se u stvarnom okruženju koristiti korisnikovi vlastiti sigurni podaci za prijavu).

Metricbeat-ovi ulazi su modularni i u ovom slučaju moramo omogućiti Prometej moduljer dcgm-exporter objavljuje svoje metrike u tom formatu. Aktivacija se vrši sa:
sudo metricbeat modules enable prometheus

Prije puštanja svega u rad, preporučljivo je pokrenuti neke konfiguracijske testove kako biste bili sigurni da je Metricbeat ispravno konfiguriran i da se može povezati s Elastic Cloudom i Prometheus endpointom. To se radi pomoću naredbi kao što su:
sudo metricbeat test config
sudo metricbeat test output
sudo metricbeat modules list

Ako ovi testovi ne uspiju, preporučljivo je pregledati dokumentaciju o Rješavanje problema s Metricbeatombudući da su greške obično povezane s netačnim akreditivima, nedostupnim krajnjim tačkama ili modulima koji nisu ispravno omogućeni. Nakon što je sve provjereno, možete pokrenuti:
sudo metricbeat setup
za učitavanje zadanih nadzornih ploča i definiranje potrebnih mapiranja indeksa.

Konačno, Metricbeat se pokreće u konzolnom izlaznom režimu ili kao servis, sa:
sudo metricbeat -e
Ovo će uzrokovati da se GPU metrike koje otkriva dcgm-exporter počnu kontinuirano slati Elasticu, gdje će biti pohranjene i spremne za analizu.

Vizualizacija metrike memorije i GPU-a u Kibani

Nakon što podaci počnu teći u Elastic Observability, počinje zanimljivi dio: istraživanje, filtriranje i unakrsno referenciranje metrika GPU-a i CPU-a kako biste zaista razumjeli šta se dešava u vašoj infrastrukturi. To se prvenstveno radi korištenjem Kibane, Elastic-ovog web-baziranog interfejsa za analitiku i vizualizaciju.

Prvi korak je osigurati obrazac indeksa metricbeat-* je ispravno konfiguriran u odjeljku Upravljanje stekom > Kibana > Obrasci indeksaOdatle odaberite uzorak i kliknite na "Osvježi listu polja" kako bi Kibana mogla otkriti nova polja povezana s GPU metrikama.

Metrike iz dcgm-exporter-a, koje prikuplja Prometheus modul, obično se pojavljuju s prefiksom kao što je prometheus.metrics.DCGM_ . Ova polja uključuju statistiku o korištenju memorije, slobodnoj memoriji, postotku korištenja GPU-a, temperaturama, potrošnji energije i drugim relevantnim pokazateljima.

S obzirom na to da su ova polja sada dostupna, Kibana-in Discover prikaz može se koristiti za ad hoc pretrage , filtriranje po hostu, nazivu GPU-a ili vremenskom rasponu. Također je moguće kreirati vizualizacije u odjeljku kontrolnih ploča, koje prikazuju, na primjer, evoluciju korištenja GPU memorije tokom dana ili upoređuju različite instance u istom grafikonu.

Jedan od najpraktičnijih prikaza je Metrics Explorer, koji vam omogućava da uporedite performanse CPU-a i GPU-a na istom ekranu . Ovo pomaže u otkrivanju obrazaca gdje je, na primjer, GPU maksimalno opterećen, dok je CPU nedovoljno iskorišten, ili obrnuto, što ukazuje na potencijalne probleme s ravnotežom opterećenja.

Nadalje, prikaz inventara vam omogućava da precizno odredite kritične tačke korištenja GPU-a u velikim implementacijama , identificirajući koji su čvorovi na svojim granicama, koji su u stanju mirovanja i gdje su koncentrirana uska grla. Odatle možete definirati upozorenja koja se aktiviraju kada, na primjer, GPU memorija premaši određeni prag tokom određenog vremenskog perioda.

Ključni parametri praćenja prema NVIDIA-i

Nisu sve metrike podjednako relevantne prilikom optimizacije NVIDIA GPU okruženja na Linuxu. Prema preporukama proizvođača, postoje neki bitni parametri koje treba kontinuirano pratiti kako bi se spriječili kvarovi, otkrilo smanjenje performansi i fino podesila potrošnja energije.

Temperatura GPU-a je jedan od najočitijih pokazatelja. Dugotrajno povećanje iznad sigurnih raspona može ukazivati ​​na probleme s hlađenjem, prljave ventilatore, slab protok zraka u kućištu ili čak termalni dizajn koji nije adekvatan za opterećenje kojem je sistem izložen.

Još jedna ključna metrika je potrošnja energije GPU-a . Ako kartica počne trošiti više energije nego inače za isto opterećenje, to bi moglo ukazivati ​​na probleme s hardverom ili previše agresivno podešavanje napajanja. U velikim okruženjima, ovi podaci su također ključni za kontrolu troškova električne energije i planiranje kapaciteta infrastrukture.

Trenutne brzine takta GPU-a također mnogo otkrivaju o zdravlju sistema. Ako ovi taktovi ostanu ispod očekivanih vrijednosti pod velikim opterećenjem, to bi moglo biti zbog ograničenja snage, termičkog ograničavanja ili konzervativnih postavki napajanja koje ograničavaju stvarno dostupne performanse.

Za testiranje opterećenja ili validaciju, NVIDIA nudi alate kao što su dcgmproftester10Ove naredbe vam omogućavaju da simulirate intenzivno opterećenje GPU-a i provjerite kako metrike reagiraju. Tipična naredba bi bila:
dcgmproftester10 --no-dcgm-validation -t 1004 -d 30
koji pokreće specifični test performansi u trajanju od 30 sekundi bez određenih DCGM validacija, idealno za provjeru da li sistem ostaje stabilan pod pritiskom.

Kombinovanjem ovih metrika sa Elastic-ovim mogućnostima upozoravanja, moguće je automatizovati preporuke koje predlaže NVIDIA , aktivirajući obavještenja kada se prekorače temperaturni pragovi, kada se korištenje memorije opasno približi 100% ili kada potrošnja energije značajno izmakne kontroli u poređenju sa normalnim testovima.

Optimizacija postavki NVIDIA GPU-a na Linuxu

Pored pasivnog praćenja, postoji nekoliko podešavanja koja se mogu primijeniti u Linuxu kako bi se postigle stabilnije i, u mnogim slučajevima, superiorne performanse s NVIDIA GPU-ima. Jedan od najrelevantnijih aspekata je upravljanje funkcijama automatskog pojačanja i dinamičkog skaliranja takta uključenim u sam drajver.

U nekim slučajevima GPU-a, NVIDIA drajver koristi funkciju automatskog pojačanja koja podešava frekvencije GPU-a na osnovu opterećenja i termalnih uslova. Iako je ovo korisno za opšta okruženja, u scenarijima koji zahtijevaju maksimalne performanse i ponovljive rezultate, možda je poželjnije onemogućiti ove funkcije i ručno postaviti brzine takta na njihove sigurne maksimalne vrijednosti.

Onemogućavanjem automatskog pojačanja i postavljanjem maksimalnih frekvencija, performanse postaju mnogo konzistentnije i predvidljivije između pokretanja . Ovo je posebno važno kod benchmarkinga, validacije hardvera, podatkovnih centara i AI platformi gdje su minimalne varijacije između pokretanja ključne.

Još jedna stvar koju treba pratiti je način rada grafičke kartice (GPU). Na Linuxu, NVIDIA alati vam omogućavaju podešavanje profila napajanja, od energetski efikasnijih načina rada do načina rada koji nude održive maksimalne performanse. Odabir previše konzervativnog profila može značajno ograničiti FPS u igrama ili performanse u intenzivnim računarskim zadacima , iako smanjuje potrošnju energije.

Na potrošačkim računarima, posebno onima dizajniranim za Linux igranje s modernim grafičkim karticama, dobra je ideja provjeriti jesu li upravljački programi ažurirani i jesu li postavke načina rada, ograničenja napajanja i profila takta usklađene sa željenim ciljevima performansi. Ovo je područje gdje su mnogi negativni rezultati testova jednostavno posljedica loše optimizirane fabričke konfiguracije.

Linux i igre sa NVIDIA GPU-ima: trenutna situacija

Iako Linux i dalje pati od reputacije da nije "prava platforma" za igranje, stvarnost je da je, s dobrom NVIDIA GPU-om i Steam ekosistemom , sasvim izvodljivo uživati ​​u mnogim naslovima s iskustvom prilično bliskim onome u Windowsu, posebno ako iskoristite prednosti modernih grafičkih API-ja.

Steam Play, koristeći Proton i DXVK (specifičnu fork verziju Wine-a) , prevodi DirectX pozive u Vulkan, omogućavajući pokretanje velikog broja igara prvobitno razvijenih za Windows. Iako se ne postižu uvijek tačne nativne performanse, gubitak FPS-a je obično minimalan i, u mnogim slučajevima, prihvatljiv za većinu korisnika.

U poređenju sa karticama prethodne generacije, od NVIDIA GeForce GTX 980 Ti do TITAN RTX , i AMD modelima kao što su Radeon RX Vega 56 ili Radeon VII, uočeno je da se NVIDIA-ini vrhunski GPU-ovi sa Turing jezgrama posebno ističu u 4K rezoluciji na Linuxu kada su u pitanju zahtjevne igre.

Ilustrativan primjer se može naći u igrama poput Total War: Three Kingdoms , gdje mnoge od 18 testiranih grafičkih kartica mogu postići željenih 60 FPS pri 4K rezoluciji ako se održi nizak nivo detalja. Kada se detalji povećaju na srednji, samo vrlo moćni modeli poput RTX 2080 Ti ili TITAN RTX su u stanju da konstantno premaše taj prag na Linuxu.

Drugi naslovi poput Counter-Strike: Global Offensive ili DOTA 2 pokazuju mnogo popustljivije ponašanje: koristeći Vulkan API kada je dostupan, gotovo sve testirane kartice mogu glatko pokretati 4K, s visokim FPS stopama čak i na manje naprednom hardveru unutar analiziranog raspona.

U grafički zahtjevnim igrama poput Deus Ex: Mankind Divided ili Dawn of War III , potreba za vrhunskim grafičkim karticama za igranje u 4K rezoluciji s visokim postavkama ponovo postaje jasna. U naslovima poput Rise of the Tomb Raider ili A Total War Saga: Thrones of Britannia , većina GPU-a može podnijeti 4K rezoluciju ako je nivo detalja postavljen na nizak ili srednji, što pojačava ideju da NVIDIA ima prednost nad AMD-om u drajverima i optimizaciji za Linux u ovim scenarijima.

Jedna od tema koja se ponavlja u ovim testovima je da AMD još uvijek ima prostora za poboljšanje svojih Linux drajvera za igre , dok NVIDIA nudi zreliju podršku i konzistentnija ažuriranja. Za one koji traže najbolje moguće performanse u igrama visoke rezolucije na Linuxu, ovo ostaje ključni faktor pri odabiru GPU-a.

Uzevši sve u obzir, razumijevanje ponašanja statistike memorije u Linuxu i metrike NVIDIA GPU-a, u kombinaciji s dobrom konfiguracijom drajvera i alatima za praćenje, omogućava vam da izvučete mnogo više iz kartice, bilo da se radi o gejming računaru, AI serveru ili podatkovnom centru s desetinama čvorova koji rade punim kapacitetom.

Jasno je da detaljna kontrola memorije, performansi i statusa NVIDIA GPU-ova u Linuxu više nije opcionalna, već ključna komponenta i za produkcijska okruženja i za zahtjevne korisnike: dobar stek drajvera i DCGM, sloj za izvoz metrike sa dcgm-exporter-om, prikupljanje sa Metricbeat-om i vizualizacija u Kibani, u kombinaciji sa finim podešavanjem snage GPU-a i brzine takta, su ono što zaista čini razliku između sistema koji jednostavno radi i onog koji maksimalno iskorištava svaki vat i svaki gigabajt dostupne memorije.