Intel Thread Director: Kako funkcioniše hibridna jezgrena inteligencija

Informatec Digital » Resursi » Intel Thread Director: Kako funkcioniše hibridna jezgrena inteligencija

Ako ste čuli za Intelove nove hibridne procesore i termin Thread Director vam zvuči poznato, ali niste sasvim sigurni šta on zapravo radi , došli ste na pravo mjesto. Ova tehnologija je ključna za razumijevanje zašto Alder Lake, Raptor Lake, Meteor Lake i naredne generacije rade onako kako rade, posebno u igrama, multitaskingu i virtuelnim mašinama.

Pogledajmo detaljnije kako Intel Thread Director interno funkcioniše, koje probleme rješava i koja su mu ograničenja . Vidjet ćete da to nije magija, niti skriveno turbo dugme, već još jedan dio u složenom sistemu gdje operativni sistem, P jezgre i E jezgre igraju značajnu ulogu.

Šta je Intel Thread Director i zašto postoji?

Dolazak 12. generacije Core procesora značio je da se Intel odlučio za hibridnu arhitekturu jezgara sa visokoperformansnim P-jezgrama i visokoefikasnim E-jezgrama . Do tada su u svijetu desktop računara procesori sa svim jezgrama istog tipa bili norma, dok je ovaj pristup "veliko.MALO" bio tipičan za mobilne SoC-ove zasnovane na ARM arhitekturi.

Ova promjena predstavljala je ozbiljan problem: desktop operativni sistemi nisu bili opremljeni za razlikovanje jezgara različite snage i efikasnosti prilikom dodjeljivanja niti i procesa . Raspoređivač je jednostavno vidio "X jezgara" i distribuirao radno opterećenje bez razmatranja koja vrsta jezgra je najbolje prilagođena za svaki zadatak.

Da bi se riješio ovaj problem, Intel je kreirao ono što je komercijalno nazvao Intel Thread Director, tehnologiju integriranu u CPU koja analizira ponašanje procesa i savjetuje operativnom sistemu gdje da ih smjesti. Važno je napomenuti da to nije zamjena za planer operativnog sistema, već visoko prefinjen i specijaliziran alat.

Suprotno onome što mnogi misle, Thread Director nije zaseban čip ili "magična jedinica" unutar procesora . Sastoji se od logike i mikrokoda koji se izvršavaju na samom CPU-u, prikupljajući vrlo detaljne telemetrijske informacije i izlažući ih operativnom sistemu putem specifičnih interfejsa.

Kako Thread Director funkcioniše interno

Direktor niti konceptualno funkcioniše kao kontrolisani spekulativni sistem izvršavanja koji procjenjuje ponašanje niti prije nego što odluči o idealnoj jezgri . Da bi to uradio, koristi jednu od niti izvršavanja P-jezgre u Alder Lakeu i Raptor Lakeu, dok se u Meteor Lakeu i kasnijim verzijama oslanja na E-jezgre niske snage unutar Tile SoC-a.

Ova logika prati instrukcije, obrasce pristupa i računske troškove izvršavanja algoritama . Ne gleda samo na statičku listu instrukcija; umjesto toga, posmatra ponašanje u stvarnom svijetu tokom kratkog perioda kako bi utvrdila da li je opterećenje lagano, umjereno, visoko paralelno, memorijski intenzivno i tako dalje.

Ova analiza je kodirana u strukturi podataka povezanoj s registrom IA32_THREAD_FEEDBACK_CHAR, gdje su pohranjene tri vrste ključnih informacija o svakoj niti : klasa rada, ocjena performansi i ocjena energetske efikasnosti, sve u jednostavnom formatu tako da operativni sistem može brzo koristiti te informacije.

Prvi dio je klasifikacija tipa procesa u četiri različite klase koje pomažu planeru da shvati koja vrsta jezgra je najprikladnija:

• Klasa 0: niti koje se mogu izvršavati bez većih problema i na P-jezgrama i na E-jezgrama.
• Klasa 1: opterećenja koja znatno bolje rade na P-jezgrama, zbog njihovih vršnih zahtjeva za performansama ili niske latencije.
• Klasa 2: zadaci koji se preporučuju za premještanje u E-Cores, jer su lakši ili imaju koristi od efikasnijeg izvršenja.
• Klasa 3: procesi sa skupim petljama, potencijalno dugim čekanjima ili ponašanjima koja mogu naštetiti drugim nitima ako se nepravilno miješaju, te stoga zahtijevaju poseban tretman.

Pored klase, pohranjuje se i ocjena performansi od 0 do 255 , koja odražava koliko dobro ta nit radi na određenoj jezgri . Slično tome, uključena je i druga ocjena od 0 do 255 koja ukazuje na energetsku efikasnost povezanu s njenim pokretanjem na toj vrsti jezgre pod trenutnim uvjetima.

Pomoću te telemetrije, operativni sistem može donositi informiranije odluke o tome koje niti poslati P-jezgrama, a koje preusmjeriti E-jezgrama , ne samo na osnovu tipa jezgra, već i na osnovu trenutnog opterećenja, broja aktivnih zadataka i prioriteta korisničke sesije.

Važnost bodovanja i raspodjele opterećenja

U modernim CPU-ima s mnogo jezgara, više nije dovoljno samo odlučiti hoće li nešto ići P-jezgri ili E-jezgri: također je važno na koju specifičnu jezgru završava svaka nit kako bi se izbjegla uska grla i nedovoljno iskorištene jezgre . Ovdje ključnu ulogu igraju rezultati performansi i efikasnosti koje pruža Thread Director.

Zahvaljujući ovoj numeričkoj procjeni, planer operativnog sistema može uravnotežiti opterećenje između jezgara istog tipa, dodjeljujući najteže niti prvo najmanje opterećenim jezgrama i koristeći svaki preostali raspoloživi prostor. Ideja je da se izbjegne zasićenje P-jezgara dok su druge gotovo neaktivne, ili nedovoljno iskorištene E-jezgre koje obavljaju besmislene zadatke.

Još jedna prednost je što Thread Director pomaže u brzom otkrivanju kada je radno opterećenje najprikladnije za određenu vrstu jezgre na osnovu njenog skupa instrukcija ili karakteristika . Ako se tokom evaluacije utvrdi da nit koristi instrukcije koje podržavaju samo P-jezgre (na primjer, određeni napredni AVX skupovi instrukcija), operativni sistem zna da ta nit mora biti dodijeljena P-jezgri.

Također je relevantno u scenarijima gdje se jedan proces razvija tokom vremena: može početi kao lagan, preći u računski intenzivnu fazu, a zatim se vratiti u opuštenije stanje . Kontinuirana povratna informacija omogućava ovim nitima da migriraju između P i E, ovisno o tome šta rade u bilo kojem trenutku, bez potrebe da aplikacija bude svjesna hibridne arhitekture.

U praksi, ovaj mehanizam ima za cilj osigurati da korisnik doživljava sistem kao da reaguje glatko, bez obzira da li se pokreće zahtjevna igra ili otvara više aplikacija, reprodukuje sadržaj ili ostavlja procese da rade u pozadini . Dinamička alokacija resursa sprečava da jednostavan pozadinski zadatak potroši cijeli P-Core dok E-Core ostaje neaktivan.

Direktor niti ne "komanduje": operativni sistem odlučuje.

Naziv možda zavarava, jer "Direktor" zvuči kao da je zadužen, ali stvarnost je da Direktor niti ne donosi konačnu odluku o tome gdje se svaka nit izvršava . Raspoređivač operativnog sistema i dalje ima posljednju riječ, koristeći ili ignorirajući informacije koje pruža CPU u skladu s vlastitom logikom.

Ovo je vrlo primjetno u svakodnevnim situacijama, kao što je kada šaljete aplikaciju koja intenzivno koristi resurse u pozadinu, na primjer, renderiranje u Blenderu, i nastavite koristiti računar za druge zadatke . Windows interpretira da ono što je u prvom planu ima prioritet za korisnika, pa smanjuje resurse dodijeljene renderiranju i može prebaciti svoje glavno opterećenje na E-Core procesore.

Slično tome, aplikacija s niskim zahtjevima koja se izvršava u aktivnom prozoru može na kraju koristiti P-Core jednostavno zato što je u fokusu, čak i ako korištenje CPU-a nije posebno visoko. Ovo pokazuje da kriteriji operativnog sistema (stanje u prvom planu/pozadi, prioritet procesa, politike napajanja) imaju veću težinu od mišljenja direktora niti.

Ukratko, Thread Director pruža neku vrstu "stručnog savjetnika" sistemskom planeru, ali ako operativni sistem nije opremljen da ga razumije ili daje prioritet drugim pravilima, alokacija niti neće biti optimalna . Ovo objašnjava jasne razlike između Windowsa 10, Windowsa 11 i raznih Linux distribucija u načinu na koji koriste hibridne CPU-ove.

Iz perspektive programera aplikacija, zanimljivo je da u većini slučajeva nije potrebno prepisivati ​​softver posebno za P-jezgre i E-jezgre . Sve dok operativni sistem podržava Thread Director, velika većina radnog opterećenja se prilično razumno raspoređuje bez promjena koda, osim u nekoliko vrlo specifičnih scenarija.

Ponašanje u igrama i stvarnim opterećenjima: P-jezgre, E-jezgre i sekundarne niti

Jedna od najzbunjujućih tema je šta se dešava u modernim igrama koje koriste mnogo niti, posebno kada broj zadataka premašuje dostupne P-jezgre, a E-jezgre se koriste za sekundarne niti . Ovdje se teorija susreće sa praksom iz stvarnog svijeta.

Intelova ideja je da, u tipičnom scenariju, kritične niti igre (renderiranje, glavna logika, važna fizika) padaju na P-jezgre , dok E-jezgre brinu o nitima nižeg prioriteta, sistemskim zadacima i pozadinskim procesima kao što su kartice za snimanje, chatovi, preglednici itd.

Kada igra pokrene, na primjer, devetu ili desetu nit koja samo povremeno koristi između 10% i 30% P-jezgre , direktor niti može predložiti operativnom sistemu da je premjesti na E-jezgru. Raspoređivač, znajući da ova nit nije kritična i uzimajući u obzir ocjenu performansi/efikasnosti, šalje je na efikasnu jezgru bez utjecaja na iskustvo igranja.

Važno je shvatiti da je E-Core manje snažan od P-Core-a, ali ako je opterećenje malo, može koristiti veći postotak resursa E-Core-a (na primjer, 60%) i dalje pružati potrebne performanse bez stvaranja uskih grla . Ovo oslobađa P-Core-ove za ono što je zaista važno i omogućava bolje korištenje dostupnog silicija.

U većini dobro dizajniranih igara koje koriste Windows 11, kombinacija hibridnog planera i direktora niti pruža stabilne performanse u oko 99% slučajeva . Međutim, postoje neki naslovi ili engine-i s donekle neobičnim obrascima niti gdje distribucija nije savršena, ali to su obično izuzeci.

Veza sa Windowsom 11, Windowsom 10 i opšta kompatibilnost

Jedna od ključnih stvari je da je Windows 11 razvijen u direktnoj saradnji između Microsofta i Intela kako bi se u potpunosti iskoristila hibridna arhitektura i izvorno koristio Thread Director . To uključuje ažurirani planer, specifične politike napajanja i finiju integraciju s telemetrijskim podacima iz CPU-a.

Međutim, u Windowsu 10, planer nije od temelja dizajniran da razumije P-jezgre i E-jezgre ili da ispravno interpretira znakove Thread Directora . Radi, ali je alokacija zadataka više "slijepa", te stoga performanse i efikasnost mogu biti znatno niže u poređenju s istim CPU-om u Windowsu 11.

U Linuxu, priča je krenula drugačijim putem. U početku, kernel nije u potpunosti iskoristio Intelove hibridne jezgre, što je rezultiralo znatno lošijim performansama nego Windows , posebno pod mješovitim opterećenjima i u virtualizaciji. Vremenom, planer kernela i interfejsi sa Thread Directorom su usavršeni.

Zahvaljujući najnovijim zakrpama za kernel, Intel je dodao naprednu podršku za Thread Director i također je radio na virtualizaciji Thread Director-a . Ovo omogućava gostu, kao što je virtuelna mašina sa Windows 11, da ima koristi od logike raspoređivanja zasnovane na ITD-u čak i kada radi na Linux hostu.

U testovima s Core i9-13900K procesorom koji pokreće Windows 11 unutar Linux VM-a, u 3DMarku je izmjereno poboljšanje performansi do 14% pravilnim korištenjem alokacije između P-jezgara i E-jezgara iz virtualne mašine . Ovo poboljšanje je posebno relevantno za servere koji hostiraju cloud gaming ili više virtualnih desktopa.

Direktor teme na Alder Lakeu, Raptor Lakeu, Meteor Lakeu i šire

Thread Director je zvanično debitovao sa 12. generacijom Intel Core procesora (Alder Lake), koji su prvi put predstavili hibridnu arhitekturu za desktop računare . Ovi čipovi kombinuju visokoperformansne P-jezgre sa efikasnim E-jezgrama i proizvedeni su korištenjem Intel 7 litografije, nasljeđujući mnoge prethodne tehnologije brenda.

U Alder Lake-S, dizajniranom za desktop računare i koji koristi LGA1700 socket, nalazimo do 16 jezgara (8 P-jezgara + 8 E-jezgara) i ukupno 24 niti, podršku za DDR5, unatrag kompatibilnu sa DDR4 i PCIe 5.0 linije direktno iz CPU-a . Ovo je dopunjeno klasičnim Intel Smart Cacheom (dijeljeni L3 keš) i reorganizovanim L2 kešem kako bi se prilagodili oba tipa jezgara.

P-jezgre imaju 1,25 MB L2 keš memorije po jezgri, dok su E-jezgre grupirane u klastere od četiri koji dijele 2 MB L2 keš memorije . Iznad toga, postoji do 30 MB L3 keš memorije (LLC) zajedničke za sve jezgre, što pomaže u smanjenju latencije i poboljšanju razmjene podataka između niti različitih tipova.

Platforma također dodaje podršku za PCIe 5.0 (do 16 linija iz CPU-a), više PCIe 4.0 linija iz Z690 čipseta, integrirani WiFi 6E i kompatibilnost s Thunderbolt 4. Iako su PCIe 5.0 GPU-i i SSD-ovi bili rijetki prilikom lansiranja, infrastruktura je već bila na mjestu.

Sa Raptor Lakeom, Intel je usavršio ovaj pristup, ali prava promjena u Thread Directoru dolazi sa Meteor Lakeom: logika evaluacije sada se izvršava na E-jezgrama niske snage prisutnim u SoC Tileu, što je blok sa direktnim pristupom RAM-u zahvaljujući integrisanom kontroleru memorije . Odatle se svaki proces analizira i donosi se odluka o tome da li se može riješiti na tim E-jezgrama ili treba da se proslijedi na Compute Tile, gdje se nalaze snažnije jezgre.

To znači da, počevši od Meteor Lake-a, Thread Director više ne mora stalno direktno orkestrirati između "tri vrste jezgara", jer se mnogi zadaci niske potražnje rješavaju prije nego što stignu do glavnih P-jezgara . Tek kada se otkrije da radno opterećenje zahtijeva više procesorske snage, ono se prenosi na blok računarstva visokih performansi.

Integracija sa hibridnom arhitekturom Alder Lake-S

Unutar desktop ekosistema, Alder Lake-S procesori savršeno pokazuju šta Thread Director može donijeti hibridnom procesoru s vrlo jasnim ciljevima: igranje, kreiranje sadržaja i napredni overklok . Intel je redizajnirao cijelu platformu kako bi iskoristio ovu kombinaciju jezgara.

Hibridna arhitektura napušta stari monolitni pristup i predlaže model vrlo sličan ARM big.LITTLE, s P-jezgrama dizajniranim za velika opterećenja i E-jezgrama usmjerenim na skalabilnost i efikasnost multitaskinga . Ova kombinacija omogućava povećanje IPC-a po jezgru od 19% u poređenju s 11. generacijom, prema Intelovim internim mjerenjima.

U svakodnevnoj upotrebi, to znači da prilikom pokretanja igre, P-jezgre upravljaju engineom igre, dok E-jezgre obavljaju pozadinske zadatke poput streaminga, Discorda, pretraživanja i sistemskih procesa . Intel je pokazao poboljšanja do 19% u igrama i do 84% u scenarijima "igranje + streaming" u poređenju sa Core i9-11900K.

Ovo ponašanje se oslanja na sposobnost Thread Directora da otkrije koje su niti ključne za latenciju igre, a koje su pomoćne niti koje se mogu preusmjeriti na E-jezgre bez negativnog utjecaja na iskustvo . Ovo održava brzinu FPS-a i smanjuje rizik od prekida kada se mnogo stvari dešava istovremeno.

Platforma Alder Lake je također uvela nove mehanizme upravljanja napajanjem, usklađujući PL1 i PL2 kako bi se duže održale frekvencije pojačanja , što je pogodovalo postojanju E-jezgara koje mogu podnijeti mala opterećenja bez da P-jezgre budu trajno na termalnom limitu.

Overklok, memorija i pripadajući alati

Procesori Alder Lake-S su praćeni ažuriranjem alata za podešavanje, počevši sa Intel Extreme Tuning Utility (XTU) 7.5, koji dodaje specifičnu kontrolu nad frekvencijama E-Core i punu podršku za DDR5 . Ovo je pored P-Core telemetrije i novih internih opcija upravljanja BCLK-om.

Jedna od glavnih novih funkcija za memoriju je XMP 3.0, koji proširuje profile overkloka na pet po modulu (tri od proizvođača i dva koja korisnik može prilagoditi) . Ovi prilagodljivi profili mogu se imenovati sa do 16 znakova, što olakšava brzu identifikaciju korištene postavke.

Nadalje, XMP 3.0 omogućava ručno podešavanje napona kao što su VDD, VDDQ i ​​VPP , dajući entuzijastima značajnu slobodu da izvuku maksimum iz DDR5 memorije. Iako Thread Director ne utiče direktno na memoriju, cijela platforma je dizajnirana imajući na umu širok spektar zahtjevnih radnih opterećenja.

Dodana je i tehnologija Dynamic Memory Boost , vrsta automatskog "Turba" za RAM memoriju koja aktivira XMP profil kada se detektuje opterećenje i vraća se u osnovno stanje kada se potražnja smanji . Ova logika je slična načinu na koji Turbo Boost funkcioniše u CPU-ima i pomaže uravnotežiti performanse, potrošnju energije i temperature bez stalne intervencije korisnika.

Sve ovo je upotpunjeno Z690 čipsetom, koji nudi punu podršku za overklokiranje CPU-a i memorije, plus PCIe 4.0 linije i modernu povezivost kao što su USB 3.2 Gen 2x2 i WiFi 6E (Gig+) . Ideja je da je platforma u cjelini spremna da iskoristi prednosti dinamičkog ponašanja koje Thread Director omogućava pri alokaciji niti.

Linux, serveri i virtualizacija sa Thread Director-om

Izvan kućnog desktopa, Thread Director postaje posebno relevantan u Linux okruženjima koja pokreću više virtuelnih mašina ili servise za streaming igara u oblaku . Ovdje se efikasna alokacija jezgra direktno prevodi u uštedu troškova i poboljšani kvalitet usluge.

Intel je nedavno objavio set zakrpa za Linux kernel koje značajno poboljšavaju integraciju Thread Directora i logiku raspoređivanja za hibridne CPU-ove . Ove promjene ne samo da prilagođavaju način distribucije zadataka na hostu, već i uvode koncept virtualizacije Thread Directora.

S ovom virtualizacijom, virtuelna mašina (na primjer, Windows 11 kao gost) može primati i koristiti informacije iz Thread Directora čak i dok radi na Linux hostu . Rezultat je da gost može bolje distribuirati vlastita radna opterećenja između virtualizovanih P-jezgara i E-jezgara, približavajući se nativnim performansama.

Objavljeni testovi pokazuju da, u scenarijima igranja koji se izvode na Windows 11 VM-u na Linux hostu sa Core i9-13900K procesorom , poboljšanja performansi mogu doseći i do 14% u testovima poput 3DMarka. Za provajdere cloud streaminga bazirane na Linuxu, ovaj skok je veoma značajan.

Važno je napomenuti da su ove optimizacije prvenstveno namijenjene profesionalnim i serverskim okruženjima , gdje Linux ima mnogo veći tržišni udio od Windows Servera. U kućnom okruženju, prosječan korisnik neće primijetiti toliku razliku, iako je uvijek dobra vijest kada kernel poboljša rukovanje hibridnim CPU-ima.

Ograničenja, mitovi i šta možemo očekivati

Uprkos svim svojim prednostima, važno je ne previše mitologizirati Thread Director. Prvo, ključno je shvatiti da on ne može u potpunosti kompenzirati loše optimiziran operativni sistem ili game engine s manjkavim upravljanjem nitima . Ako je opterećenje loše raspoređeno od strane softvera, CPU može podnijeti samo određenu količinu.

Niti je to magična tehnologija koja garantuje da nikada neće biti rijetkih slučajeva u kojima važna nit završi u E-jezgri ili lagani zadatak ostane u P-jezgri duže nego što je potrebno . Povratna informacija je vrlo brza, ali ne trenutna, i uvijek postoje neobični obrasci opterećenja koji mogu zbuniti planer.

Još jedan uobičajeni mit je da, uz Thread Director, programeri igara i aplikacija mogu potpuno zaboraviti na hibridnu arhitekturu . Iako u većini slučajeva operativni sistem sve rješava prilično dobro, da bi se iz toga izvuklo maksimum, i dalje je dobra ideja dizajnirati mehanizme koji bolje klasificiraju vlastite niti, postavljaju odgovarajuće prioritete i izbjegavaju nekontrolirano preopterećenje.

Gledajući unaprijed na buduće generacije poput Arrow Lakea, svi pokazatelji ukazuju na to da će osnovna filozofija Thread Directora ostati, uz poboljšanja telemetrije i integracije operativnog sistema . Iskustvo stečeno s Alderom, Raptorom i Meteor Lakeom pomoći će u daljnjem smanjenju graničnih slučajeva gdje alokacija nije u potpunosti optimalna.

U svakodnevnoj upotrebi, za korisnike koji igraju igre, uređuju video, streamaju ili pokreću virtuelne mašine, najvažnije je shvatiti da su Windows 11 i moderne Linux distribucije sa najnovijim zakrpama praktično obavezne ako želite da zaista izvučete maksimum iz Intel hibridnog CPU-a . Sa pravim sistemom, Thread Director postaje tihi saveznik koji pomaže da sve radi glatko i sa boljom energetskom efikasnošću.

Konačno, Intel Thread Director se etablirao kao ključna komponenta u prelasku na PC procesore sa heterogenim jezgrama, omogućavajući operativnom sistemu da donosi pametnije odluke o tome gdje će pokretati svaki thread . Iako sam ne upravlja ničim, njegova kontinuirana analiza performansi i efikasnosti pravi razliku u igranju igara, multitaskingu, kreiranju sadržaja i virtualizaciji, pod uslovom da je osnovni softver spreman da to razumije.