- Önbellek tutarlılığı, çok çekirdekli sistemlerde farklı önbelleklerde ve RAM'de bulunan aynı verinin tüm kopyalarının tutarlı kalmasını sağlar.
- Paylaşımlı son seviyeye sahip önbellek hiyerarşisi, tutarlılık kontrolünü basitleştirir ve ana belleğe doğrudan erişimleri azaltır.
- Tutarlılık protokolleri, önbellek satırı başına durumlar ve kontrol bitleri tarafından desteklenen kopyalama geçersizleştirme veya güncelleme stratejilerini kullanır.
- Derleyici ve işletim sistemi, kritik dönemler için talimatlar ekleyerek ve belleği yapılandırarak donanım tutarlılığını destekleyebilir.
Herhangi bir modern çok çekirdekli işlemcinin diyagramına baktığınızda, her zaman aynı desen ortaya çıkar: her birinin kendi yakın önbelleği olan birden fazla çekirdek ve RAM'e ulaşmadan önce ortak bir nokta görevi gören paylaşımlı bir son seviye önbellek . Bu düzenleme tesadüfi veya tasarımcıların bir hevesi değil, paralel sistemlerdeki kritik bir soruna doğrudan bir yanıttır: önbellek tutarlılığı.
Sağlam bir tutarlılık mekanizması olmadan, her çekirdek bellekte aynı verinin farklı ve eski bir sürümüyle çalışabilir ; bu da gerçek dünyadaki bir programda ince hatalara, öngörülemeyen arızalara ve hatta sistem çökmelerine yol açabilir. Bu nedenle, bu tutarlılığın hem donanım hem de yazılım düzeyinde nasıl sağlandığını anlamak, modern çok çekirdekli CPU'ların performansını ve kararlılığını anlamanın anahtarıdır.
Önbellek tutarlılığı nedir: terminal metaforu
Merkezi bir sunucuda depolanan aynı belgeyi düzenleyen, farklı terminallerin önünde oturan birkaç kişiyi hayal edin . Her ekranda dosyanın bir kopyası görüntülenir ve bir kişinin yaptığı herhangi bir değişikliğin diğer herkesin ekranına anında yansıması beklenir.
Bunun çalışması için, belge değişikliklerini tüm terminallere yayacak bir senkronizasyon mekanizmasına ihtiyaç vardır , böylece herkes her zaman aynı sürümü görür. Bu sistem çalıştığı sürece her şey yolundadır: metni değiştiren kişi, diğer herkesin yeni sürümü neredeyse anında göreceğini bilir.
Şimdi de senkronizasyon sisteminin aniden arızalandığını hayal edin. Herkes, paylaşılan belge üzerinde çalıştığına inanarak düzenlemeye devam eder, ancak gerçekte her terminal kendi bağlantısız yerel kopyasıyla baş başa kalır . O andan itibaren, bir kişinin yaptığı değişiklikler diğerlerine ulaşmaz ve belge kontrol edilemez bir şekilde farklılaşmaya başlar.
Bilgisayar bilimleri alanında, işlemcinin güvenilir bir tutarlılık protokolüne sahip olmaması durumunda tam olarak bu yaşanır: bir çekirdek bellekteki verileri değiştirir, ancak diğer çekirdekler özel önbelleklerinden eski bir sürümü okumaya devam eder . Bu durum, ciddi mantıksal hatalara, bozulmuş verilere ve hata ayıklamayı engelleyen davranışlara zemin hazırlar.
Bu nedenle önbellek tutarlılığı, çok çekirdekli bir sistemde, farklı önbellekler ve RAM'e dağıtılmış aynı verinin tüm kopyalarının tutarlı bir durumu korumasını sağlayan mekanizmalar kümesidir . Birden fazla kopya mevcut olsa bile, sistem "sanki" yalnızca bir tane varmış gibi davranmalıdır.
Çok çekirdekli bir işlemcide önbellekler ve bellek hiyerarşisi
CPU önbellekleri , sık kullanılan RAM parçalarının kopyalarını tutan küçük, çok hızlı belleklerdir . İşlemci kod çalıştırdığında, sürekli olarak (nispeten yavaş) RAM'e erişmek yerine, önbellekten okuma ve önbelleğe yazma girişiminde bulunur ve bu da gecikmeyi önemli ölçüde azaltır.
Elbette, buradaki püf nokta, önbelleklerin verinin "resmi sürümünü" değil, yalnızca geçici bir kopyasını saklamasıdır . Terminal metaforunu takip edersek, RAM sunucudaki belge olurken, önbellekler dosyanın belirli bölümlerinin kopyalarını görüntüleyen yerel ekranlar olurdu.
Çok çekirdekli bir CPU'da tasarım daha karmaşık hale gelir çünkü her çekirdeğin tipik olarak kendi özel Seviye 1 (L1) ve hatta Seviye 2 (L2) önbellekleri vardır . Bunların üzerine, çekirdekler ve RAM'e erişim sağlayan bellek denetleyicisi arasında yer alan paylaşımlı bir Seviye 3 önbelleği (örneğin) eklenir.
Bu paylaşımlı önbellek, tüm çekirdeklerin RAM'e doğrudan ve yoğun bir şekilde erişmesine izin vermenin erişim çakışmalarına, bellek veri yolunda çekişmeye ve önemli bir performans düşüşüne neden olacağı için tanıtılmıştır . Son seviye önbellek, RAM erişimlerini azaltan ve veri trafiğinin büyük bir kısmını merkezileştiren ortak bir "arabellek" görevi görür.
Ayrıca, birçok mimari önbellekleri kapsayıcı bir şekilde düzenler: işlemciye yakın seviyelerde depolanan satırlar, hiyerarşinin daha yüksek seviyelerinde de bulunur . Yani, L1'de görünen bir satır L2'de ve dolayısıyla L3'te de bulunur. Bu, tutarlılık açısından çok faydalı bir sonuç doğurur: en düşük seviyedeki önbelleği doğru şekilde güncellemek, sürekli olarak RAM'e erişmeye gerek kalmadan diğer seviyelerin durumunu kontrol etmek için yeterlidir .
Son seviye paylaşımlı önbelleklemenin tutarlılık için neden önemli olduğu
Bu küresel son seviye önbellek olmadan, her çekirdek tutarlılığı doğrudan ana belleğe karşı kontrol etmek zorunda kalacaktı . Özel bir önbellekteki bir bellek satırı her değiştirildiğinde, diğer çekirdeklerin aynı satırın bir kopyasını tutup tutmadığını kontrol etmek ve eğer tutuyorsa, her yerde güncellemek veya geçersiz kılmak gerekecekti.
Çok çekirdekli bir sistemde, bu kontrol yükü RAM'e çok sayıda işlem gönderilmesine neden olur ve hızlı önbelleklerin sağladığı faydanın büyük bir kısmını ortadan kaldırır. Çekirdekler ve bellek arasına paylaşımlı bir önbellek yerleştirerek, CPU tutarlılık kontrolünü tek bir ara konumda yoğunlaştırabilir.
Birçok uygulamada, daha yüksek seviyelerdeki (işlemciden daha uzaktaki) önbellekler, çekirdeğe daha yakın seviyelerde bulunan satırların kopyalarını içerir . Bu organizasyonla, tutarlılık protokolünün yalnızca son seviyenin ana bellekle senkronize olmasını ve her çekirdeğin özel seviyelerinin hemen üstündeki seviyeyle senkronize olmasını sağlaması gerekir.
Bu, bir tür Rus matruşka bebeği olarak görselleştirilebilir: üçüncü seviye önbellek, ikinci ve birinci seviyelerin içeriğini içerir ; ikinci seviye kendi içeriğini ve birinci seviyenin içeriğini içerir; birinci seviye ise yalnızca kendi satırlarını bilir. Böylece, "büyük bebeği" (son seviyeyi) kontrol ederek, sistem geri kalanını daha verimli bir şekilde koordine edebilir.
Sonuç olarak, tutarlılığın korunması tasarım ve bellek trafiği açısından daha ekonomik hale gelir . Her çekirdeğin sürekli olarak RAM ile uğraşmasını zorlamak yerine, protokol paylaşılan önbellek üzerinde çalışır ve oradan özel önbelleklerde hangi satırların güncellenmesi veya geçersiz kılınması gerektiğini yönetir.
Güncelleme yöntemleri: kopyaların geçersiz kılınması ve güncellenmesi
İki veya daha fazla çekirdeğin , birden fazla önbellekte çoğaltılmış aynı veri satırına neredeyse eş zamanlı olarak erişmek istemesi durumunda kritik bir sorun ortaya çıkar . Bu bağlamda, tutarlılık sistemleri yazma işlemlerini ele alırken genellikle iki temel strateji kullanır.
İlk yöntem geçersiz kılmaya dayanır. Bir çekirdek belirli bir önbellek satırına yazmaya ihtiyaç duyduğunda, protokol diğer önbelleklerde mevcut olabilecek aynı satırın tüm kopyalarını geçersiz kılar . Yalnızca yazacak olan çekirdek satırı okuma ve yazma etkin durumda tutar; diğerleri, bu veriyi tekrar kullanmak isterlerse, güncellenmiş sürümle satırı daha üst seviyeden (veya bellekten) yeniden yüklemek zorunda kalırlar.
İkinci strateji güncellemeyi içerir. Bu durumda, bir çekirdek bir satırı değiştirdiğinde, sistem yeni içeriği diğer önbelleklerdeki mevcut kopyalara otomatik olarak yaymaya çalışır . Bu şekilde, o satırı depolayan tüm önbellekler, daha sonra geçersiz kılınmasına ve yeniden yüklenmesine gerek kalmadan güncellenmiş sürümü alır.
Her yaklaşımın avantajları ve dezavantajları vardır. Geçersiz kılma, yazma işlemleri sık olduğunda genellikle daha verimlidir çünkü diğer çekirdeklerin hemen ihtiyaç duymayabileceği güncellemelerle bellek sistemini aşırı yüklemekten kaçınır. Tersine, güncelleme, birçok çekirdeğin nispeten nadiren değiştirilen aynı veriyi sık sık okuduğu durumlarda avantajlı olabilir , çünkü her geçersiz kılmadan sonra satırı yeniden yüklemek zorunda kalmayarak gecikmeyi azaltır.
Her iki durumda da, her iki yöntem de önbellek satırlarında ek durumlar ve kontrol bitleri kullanır. Her satır tipik olarak içeriğinin RAM'deki içerikle eşleşip eşleşmediği ve belirli protokole (MESI, MOESI, MSI, vb.) bağlı olarak paylaşımlı, değiştirilmiş, özel, ayrılmış vb. olup olmadığı hakkında bilgi içerir. Bu, donanımın önceden çoğaltılmış bir satırda okuma veya yazma işlemi gerçekleştiğinde ne yapacağına dair hızlı kararlar vermesini sağlar.
Önbellekler ve bellek arasındaki tutarlılığın kontrol edilmesi
Bir CPU veya GPU'nun tüm önbellek seviyeleri ile ana bellek arasındaki tutarlılığı doğrudan doğrulamak , hem tasarım karmaşıklığı hem de performans maliyeti açısından devasa bir görev olurdu. Bu nedenle, modern sistemler bu doğrulamayı hiyerarşik olarak düzenler.
İşlemciye en yakın önbellekler (L1, L2) genellikle doğrudan RAM'e değil, bir üst seviyedeki önbelleğe bağlıdır. Bu, tutarlılığın her seviyede ana belleğe karşı değil, hemen bir üst seviyedeki önbelleğe karşı doğrulandığı anlamına gelir . Bu, RAM erişimlerinin sayısını azaltır ve alt seviyelerde gereken mantığı basitleştirir.
Sonuç olarak, önbellek içeriği ile RAM içeriği arasındaki karşılaştırma, en alt seviyedeki önbellek ile ana bellek arasında gerçekleştirilir . Eğer bu son seviye doğru ve tutarlı bir durumu korursa ve her alt seviye de üstündekiyle tutarlılığını sürdürürse, her satırı RAM'e karşı tekrar tekrar kontrol etmeye gerek kalmadan tüm hiyerarşi tutarlı kalır.
Bir çekirdek bir önbellek satırına yazıp verilerini değiştirdiğinde, o satırın durumu, bellekte saklanan kopyayla artık tam olarak eşleşmediğini belirtmek üzere işaretlenir . Buradan itibaren, protokol güncellemeyi koordine eder: diğer önbelleklerdeki ilgili kopyaları ayrılmış veya geçersiz olarak işaretler ve uygun olduğunda yeni içeriği ilgili ana bellek satırına yazar.
Bu kademeli organizasyon, değişiklikleri verileri güncelleyen çekirdekten ana belleğe doğru, her önbellek seviyesinden kontrollü bir şekilde geçerek kademeli olarak yaymaya olanak tanır. Bu sayede, tutarlılığın korunması işlemci için aşılmaz bir darboğaz haline gelmez.
Donanım tutarlılığı ile yazılım tutarlılığı arasındaki fark
Şimdiye kadar, çoğunlukla donanımda uygulanan tutarlılık mekanizmalarını ele aldık: protokoller, durum bitleri, paylaşımlı önbellekler vb. Bununla birlikte, bu karmaşıklığın bir kısmını yazılıma , özellikle derleyiciye ve işletim sistemine kaydırmayı amaçlayan başka bir yaklaşım daha vardır.
Yazılım tabanlı tutarlılık şemaları , kodu analiz ederek ve derleme zamanı kararları alarak ek çip içi mantık ihtiyacını azaltmayı amaçlar . Buradaki fikir, derleyicinin belirli paylaşılan verilere ne zaman ve nasıl erişildiğini çıkarabilmesi durumunda, birçok durumda bu verilerin önbelleğe alınmasını engelleyebileceği veya görünürlüğünü açıkça yönetebileceğidir.
Bu yaklaşımın açık bir avantajı var: iş yükünün bir kısmı çalışma zamanından derleme zamanı çözümüne kayıyor . Donanımın tüm çakışmaları anında tespit edip ele alması yerine, derleyici bunları önceden tahmin etmeye ve tehlikeli durumları önleyen kod üretmeye çalışıyor.
Olumsuz yanı ise statik kod analizinin sınırlı olması ve bu nedenle derleyicilerin muhafazakar davranma eğiliminde olmasıdır . Bu, tutarlılığı ihlal etmemek için genellikle önbelleklerin etkinliğini azaltan kararlar aldıkları anlamına gelir. Bazı verilerin sorunlu olabileceğinden şüphelenirlerse, sıklıkla önbelleğe alınmasını engellerler veya gerekenden daha sık senkronizasyonlar zorlarlar.
Bu nedenle, bu yazılım şemaları teoride, özellikle donanım tasarımını basitleştirme açısından cazip olsa da, pratikte işlemciye entegre edilmiş tutarlılık desteğinin yerini almazlar , aksine bazı özel senaryolarda onu tamamlarlar.
Derleyicinin önbellek tutarlılığındaki rolü
Yazılım tabanlı tutarlılık yaklaşımlarının temel unsurlarından biri derleyicinin rolüdür. Derleyici, kodun derinlemesine analizini yapabilir ve hangi paylaşılan veri yapılarının önbelleğe alınmasının güvenli olmayabileceğini belirleyebilir . Buna dayanarak, bu öğeleri özel bir şekilde işaretler veya kod üretimini buna göre uyarlar.
En basit ve aynı zamanda en muhafazakar yaklaşım, paylaşılan veri değişkenlerinin önbelleğe alınmasını engellemektir . Yani, bu değişkenlere yapılan her erişim, ana belleğe veya önbelleğe alınamayan bir alana erişimi zorunlu kılar. Bu, tutarlılığı garanti eder, ancak birçok performans fırsatını kaçırır, çünkü paylaşılan bir yapı aslında belirli dönemlerde özel olarak veya diğer dönemlerde salt okunur olarak kullanılabilir.
Gerçekte, tutarlılık sorunu yalnızca en az bir işlemin değişkene yazabildiği ve başka bir işlemin onu okuyabildiği aralıklarda ortaya çıkar . Bu kritik dönemlerin dışında, değişken tek bir iş parçacığının özel kullanımı için veya bir süreliğine etkili bir sabit olarak ele alınabilir ve sorunsuz bir şekilde önbelleğe alınabilir.
En gelişmiş derleme stratejileri, paylaşılan değişkenin çakışmayan olarak kabul edilebileceği "güvenli" dönemleri belirlemeye çalışır . Bunu yapmak için derleyici, yürütme yollarını, olası eşzamanlı erişimleri ve senkronizasyon modellerini (kilitler, kritik bölümler vb.) analiz eder. Bu analize dayanarak, değişkenin ömrünü aşamalara ayırır: bazıları önbelleğe almaya uygun, diğerleri özel işlem gerektirir.
Kritik dönemlerde, eş zamanlı yazma işlemleriyle erişim tespit edildiğinde, derleyici önbellek tutarlılığını sağlamak için oluşturulan koda ek talimatlar ekler . Bu talimatlar, programlama modeline ve temel mimariye bağlı olarak önbellek boşaltmayı, bellek yeniden yüklemeyi, bellek bariyerlerini veya önbelleğe alınamaz olarak işaretlenmiş bölgelere erişimi zorlayabilir.
Derleyici, işletim sistemi ve donanım arasındaki ilişki
"Derleyici, önbellek tutarlılığını sağlamak için oluşturulan koda talimatlar ekler" ifadesi, işletim sisteminin bu talimatları üst düzey ipuçları gibi okuyup buna göre programın nasıl yürütüleceğine karar verdiğini düşündürebilir . Gerçekte ise mekanizma biraz farklıdır.
Derleyici bu tür talimatları eklediğinde, ikili dosyaya mimari veya çalışma ortamı tarafından desteklenen belirli işlemleri dahil eder . Örneğin, önbellek temizleme talimatları, bellek bariyerleri, bölgeleri önbelleğe alınamaz olarak işaretlemek için özel talimatlar veya bellek özelliklerini yapılandıran işletim sistemi hizmetlerine yapılan çağrılar ekleyebilir.
İşletim sistemi bu talimatları derleyici tarafından yazılmış üst düzey "yorumlar" veya "ipuçları" olarak yorumlamaz; makine kodunu diğerleri gibi yürütür . Bununla birlikte, bu talimatlardan bazıları bellek alt sistemi ve önbellek yönetimiyle etkileşime girmek üzere tasarlanmıştır ve bu nedenle CPU'nun belirli verilere erişim şeklini değiştirir.
Başka bir deyişle, derleyici ön analiz yapar ve yürütüldüğünde istenen önbellek davranışını üreten kodu oluşturur . İşletim sistemi, bellek özelliklerini (önbelleğe alınabilir veya alınamaz alanlar, yazma politikaları vb.) belirleyerek ve senkronizasyon ilkeleri sağlayarak iş birliği yapar, ancak bir derleyicinin yapacağı gibi özel talimatları anlamsal olarak yorumlama anlamında "okumaz".
Ayrıca, donanımın belirli talimatları gördüğünde özel tutarlılık veya senkronizasyon mekanizmalarını etkinleştirmesi de mümkündür . Örneğin, çit veya bariyer talimatları bellek erişim sırasını garanti eder ve önbellek hiyerarşisi boyunca belirli görünürlük etkilerini uygular. Bu durumda, üç yönlü bir işbirliği söz konusudur: derleyici bu talimatların nereye yerleştirileceğine karar verir, işletim sistemi yürütme ortamını yapılandırır ve donanım önbellek ve bellek veri yolu düzeyinde gerçek davranışı uygular.
Birlikte ele alındığında, tüm bu unsurlar, aynı verinin farklı önbellekler ve ana bellek arasında dağıtılmış birden fazla kopyası olsa bile, paralel programların tutarlı bir bellek modeliyle çalışmasını sağlar . Önbellek tutarlılığı, basit bir dahili CPU detayı olmaktan çok, çok çekirdekli sistemlerin güvenilir ve verimli bir şekilde çalışması için merkezi bir bileşen haline gelir.
Önbellek hiyerarşisinin, donanım tutarlılık protokollerinin ve yazılım destek tekniklerinin nasıl bir araya geldiğini anlamak, modern CPU tasarımlarının neden bu kadar benzer bir yapıya sahip olduğunu ve bu mekanizmalardan herhangi birindeki küçük bir arızanın, tüm çekirdeklerin aynı veriyi doğru zamanda görmesine tamamen bağlı olan eşzamanlı uygulamalarda neden kaotik davranışlara yol açabileceğini daha net bir şekilde ortaya koymaktadır.