多核心CPU中的快取一致性：如何維護以及由誰控制

Informatec Digital »資源»多核心 CPU 中的快取一致性：如何維護以及由誰控制

當你查看任何現代多核心處理器的結構圖時，總是會發現相同的模式：多個核心，每個核心都有自己獨立的緩存，以及一個共享的末級緩存，作為資料到達記憶體前的公共緩存點。這種設計並非偶然或設計者的一時興起，而是為了直接解決平行系統中一個關鍵問題：快取一致性。

如果沒有可靠的一致性機制，每個核心最終都可能使用記憶體中相同資料的不同版本，這在實際程式中會導致難以察覺的錯誤、不可預測的故障，甚至系統崩潰。因此，了解如何在硬體和軟體層面維護這種一致性，是理解現代多核心CPU效能和穩定性的關鍵。

什麼是快取一致性：終端隱喻

想像一下，幾個人坐在不同的終端機前，都在編輯儲存在中央伺服器上的同一份文件。每個螢幕都顯示該文件的副本，任何一個人所做的更改都應該立即反映到其他所有人的螢幕上。

為了實現這一點，需要一個同步機制，將文件變更同步到所有終端，確保每個人看到的都是同一個版本。只要這個系統運作正常，一切就都沒問題：修改文字的人知道其他人幾乎可以立即看到新版本。

現在想像一下，同步系統突然失效。每個人都繼續編輯，以為自己正在編輯共享文檔，但實際上，每個終端都只剩下各自獨立的本地副本。從那時起，一個人所做的更改無法同步到其他人，文件開始不受控制地出現分歧。

在電腦領域，如果CPU缺乏可靠的一致性協議，就會出現這種情況：一個核心修改了記憶體中的數據，但其他核心仍然從各自的私有快取中讀取舊版本。這極易導致嚴重的邏輯錯誤、資料損壞和無法調試的行為。

因此，快取一致性是指在多核心系統中，確保分佈在不同快取和記憶體中的相同資料的所有副本保持一致狀態的一系列機制。即使存在多個副本，系統也必須表現得「如同」只有一個副本一樣。

多核心CPU中的快取和記憶體層次結構

CPU快取是體積小、速度極快的記憶器，其中保存著常用RAM資料的副本。當處理器執行程式碼時，它不會持續存取（速度相對較慢的）RAM，而是嘗試從快取中讀取和寫入數據，從而大幅降低延遲。

當然，訣竅在於快取並不儲存資料的“官方版本”，而只儲存一個臨時副本。如果用終端機來比喻，記憶體（RAM）就好比伺服器上的文檔，而快取則好比顯示文件某些部分副本的本地螢幕。

在多核心CPU中，設計變得更加複雜，因為每個核心通常都有自己的私有一級快取（L1）甚至二級快取（L2）。除此之外，還會增加一個共享的三級快取（例如），它位於核心和記憶體控制器之間，用於存取RAM。

引入共享快取的原因是，如果允許所有核心直接且頻繁地存取 RAM，將會導致存取衝突、記憶體匯流排爭用以及顯著的效能下降。末級快取充當公共“緩衝區”，減少了 RAM 存取次數，並將大部分資料流量集中起來。

此外，許多架構採用包含式快取組織方式：儲存在靠近處理器的快取層級中的快取行也存在於更高層級的快取中。也就是說，出現在 L1 快取中的快取行也出現在 L2 快取中，進而出現在 L3 快取中。這對於資料一致性來說非常有用：只需正確更新最低層緩存，即可控制其他層級的狀態，而無需頻繁存取 RAM。

為什麼末級共享快取是保持一致性的關鍵

如果沒有這個全域末級緩存，每個核心都必須直接與主記憶體進行一致性檢查。每次私有快取中的記憶體行被修改時，都需要檢查其他核心是否儲存了同一行的副本，如果儲存了，則需要更新或使所有核心的該行失效。

在多核心系統中，這種檢查工作負載會導致大量的記憶體訪問，從而抵消高速緩存的大部分優勢。透過在核心和記憶體之間放置共享緩存，CPU 可以將一致性控制集中在一個中間位置。

在許多實作方案中，較高層級（遠離處理器）的快取包含靠近核心的層級中資料行的副本。在這種組織結構下，一致性協定只需確保最後一層快取與主記憶體同步，並且每個核心的私有層級與其上一層級同步即可。

這可以形像地比喻為俄羅斯套娃：第三層快取包含第二層和第一層的內容，第二層包含自身內容和第一層內容，而第一層只知道自身層的內容。因此，透過控制「大套娃」（最外層），系統可以更有效率地協調其餘層。

結果是，在設計和記憶體流量方面，保持一致性變得更加經濟。該協定不再強制每個核心不斷處理 RAM，而是操作共享緩存，並由此管理私有快取中哪些行應該更新或失效。

更新方法：副本失效與更新

當兩個或多個核心幾乎同時想要存取相同行資料（該資料已複製到多個快取中）時，就會出現一個關鍵問題。在這種情況下，一致性系統在處理寫入作業時通常會採用兩種基本策略。

第一種方法是基於失效機制。當核心需要寫入特定的快取行時，協定會使其他快取中可能存在的相同快取行的所有副本失效。只有即將寫入的核心才會保持該快取行的讀寫狀態；其他核心如果想要再次使用該數據，則必須從更高層（或記憶體）重新載入更新後的版本。

第二種策略涉及更新。在這種情況下，當核心修改某一行程式碼時，系統會嘗試自動將新內容傳播到其他快取中已有的副本。這樣，所有儲存過該行程式碼的快取都能接收到更新後的版本，而無需之後將其失效並重新載入。

每種方法都有其優缺點。當寫入操作頻繁時，失效機制通常更有效率，因為它避免了其他核心可能不需要的更新而導致記憶體系統飽和。相反，當許多核心頻繁讀取相同數據且該數據修改頻率相對較低時，更新機制可能更有優勢，因為它無需在每次失效後重新加載該行數據，從而降低了延遲。

無論哪種方法，都會在快取行中使用額外的狀態和控制位。每行通常包含有關其內容是否與 RAM 中的內容匹配，以及它是共享的、已修改的、獨佔的、保留的等等信息，具體取決於所使用的協議（MESI、MOESI、MSI 等）。這使得硬體能夠在對已複製的快取行執行讀取或寫入操作時快速做出相應的決策。

檢查快取和記憶體之間的一致性

直接驗證CPU或GPU所有快取等級與主記憶體之間的一致性將是一項極為艱鉅的任務，無論從設計複雜性或效能開銷方面來看都是如此。因此，現代系統採用分層結構來組織這種驗證。

最靠近處理器的快取（L1、L2）通常不會直接連接到記憶體（RAM），而是連接到下一層快取。這意味著每一級快取的一致性驗證並非針對主內存，而是針對上一層快取。這減少了記憶體存取次數，並簡化了底層所需的邏輯。

最終，快取內容與記憶體內容的比較是在末級快取和主記憶體之間進行的。如果末級快取保持正確且一致的狀態，且每一層快取都與其上一層快取保持一致，那麼整個快取層次結構就能保持一致，而無需反覆檢查每一層快取與記憶體的內容。

當核心寫入快取行並更改其資料時，該快取行的狀態會被標記，表示它不再與記憶體中儲存的副本完全匹配。之後，協議會協調更新：它將其他快取中相應的副本標記為已保留或無效，並在適當的時候將新內容寫入關聯的主記憶體行。

這種級聯式組織結構允許更改從核心（負責更新資料）逐步傳播到主內存，並以受控的方式逐級傳遞到每個快取層。這樣，保持資料一致性就不會成為處理器無法克服的瓶頸。

硬體一致性與軟體一致性

到目前為止，我們討論的一致性機制主要都是在硬體中實現的：協定、狀態位元、共享快取等。然而，還有另一種方法，試圖將其中一些複雜性轉移到軟體中，特別是轉移到編譯器和作業系統中。

基於軟體的一致性方案旨在透過分析程式碼並做出編譯時決策來減少對額外片上邏輯的需求。其核心思想是，如果編譯器能夠推斷出何時以及如何存取某些共享數據，那麼在許多情況下，它就可以阻止這些數據被緩存，或明確地管理其可見性。

這種方法有一個明顯的優勢：部分工作負載從執行時間轉移到了編譯時解決。編譯器不再需要硬體即時檢測和處理所有衝突，而是嘗試預測衝突並產生避免危險情況的程式碼。

缺點在於靜態程式碼分析能力有限，因此編譯器往往比較保守。這意味著，為了避免違反一致性，它們經常會做出降低快取效率的決定。如果它們懷疑某些數據可能有問題，通常會阻止快取這些數據，或者強制執行比實際需要更頻繁的同步操作。

因此，儘管這些軟體方案在理論上很有吸引力，尤其是在簡化硬體設計方面，但在實踐中，它們並不能取代整合到 CPU 本身的一致性支持，而是在某些特定場景中對其進行補充。

編譯器在快取一致性中的作用

軟體一致性方法的關鍵要素在於編譯器的作用。編譯器可以對程式碼進行深度分析，並確定哪些共享資料結​​構可能不適合快取。基於此，它會以特殊方式標記這些元素，或調整程式碼產生方式。

最簡單也是最保守的方法是阻止共享資料變數被快取。也就是說，每次存取這些變數都會強制存取主記憶體或不可快取區域。這保證了資料一致性，但也錯失了許多效能提升的機會，因為共享結構實際上可以在某些時間段內被私有使用，而在其他時間段內則處於唯讀狀態。

實際上，一致性問題僅在至少一個程序可以寫入變數且另一個程序可以讀取該變數的時間段內才會出現。在這些關鍵時間段之外，該變數可以被視為僅供單一執行緒使用，甚至可以暫時視為一個有效的常數，從而可以安全地進行快取。

最先進的編譯策略旨在識別共享變數可以被視為無衝突的「安全」時期。為此，編譯器會分析執行路徑、潛在的同時存取以及同步模式（例如鎖定、臨界區等）。基於此分析，編譯器會將變數的生命週期劃分為不同的階段：有些階段適合緩存，而有些階段則需要特殊處理。

在關鍵時期，當偵測到並發寫入操作時，編譯器會在產生的程式碼中插入額外的指令來強制執行快取一致性。根據程式模型和底層架構的不同，這些指令可能會強制執行快取刷新、記憶體重載、記憶體屏障或存取標記為不可快取的區域。

編譯器、作業系統和硬體之間的關係

「編譯器會在產生的程式碼中插入指令以確保快取一致性」這句話可能會讓人誤以為作業系統會將這些指令當作進階提示來解讀，並據此決定程式的執行方式。但實際上，其機制略有不同。

當編譯器新增這些類型的指令時，它會將架構或執行時間環境支援的特定操作引入二進位檔案中。例如，它可以插入快取刷新指令、記憶體屏障、用於將區域標記為不可快取的特殊指令，或呼叫作業系統服務來配置記憶體屬性。

作業系統不會將這些指令解釋為編譯器編寫的高級「註解」或「提示」；它只是像執行其他機器碼一樣執行這些程式碼。然而，其中一些指令旨在與記憶體子系統和快取管理進行交互，從而改變CPU存取某些資料的方式。

換句話說，編譯器會進行初步分析，並產生程式碼，執行程式碼後即可實現所需的快取行為。作業系統透過建立記憶體屬性（例如可快取或不可快取區域、寫入策略等）和提供同步原語來協同工作，但它並不像編譯器那樣「讀取」特殊指令並對其進行語義解釋。

硬體在接收到特定指令後，也可能啟動特定的一致性或同步機制。例如，柵欄指令或屏障指令可以保證記憶體存取順序，並在整個快取層次結構中強制執行某些可見性效果。在這種情況下，存在三方協作：編譯器決定這些指令的放置位置，作業系統配置執行環境，而硬體則在快取和記憶體匯流排層級實現實際行為。

所有這些要素共同確保，即使同一資料的多個副本分佈在不同的快取和主記憶體中，並行程式也能以一致的記憶體模型運行。快取一致性遠非簡單的CPU內部細節，而是多核心系統可靠且有效率運作的核心組成部分。

了解快取層次結構、硬體一致性協定和軟體支援技術如何結合，可以更清楚地理解為什麼現代 CPU 設計具有如此相似的結構，以及為什麼這些機制中的任何一個微小原因都可能在完全依賴所有核心在正確的時間看到相同資料的並發應用程式中引發混亂行為。