- Tính nhất quán bộ nhớ đệm đảm bảo rằng tất cả các bản sao của cùng một dữ liệu trong các bộ nhớ đệm khác nhau và trong RAM vẫn nhất quán trên các hệ thống đa lõi.
- Cấu trúc phân cấp bộ nhớ đệm với cấp cuối cùng được chia sẻ giúp đơn giản hóa việc kiểm soát tính nhất quán và giảm thiểu việc truy cập trực tiếp vào bộ nhớ chính.
- Các giao thức nhất quán sử dụng các chiến lược vô hiệu hóa bản sao hoặc cập nhật, được hỗ trợ bởi các trạng thái và bit điều khiển trên mỗi dòng bộ nhớ đệm.
- Trình biên dịch và hệ điều hành có thể bổ sung tính nhất quán phần cứng bằng cách chèn các lệnh và cấu hình bộ nhớ cho các giai đoạn quan trọng.
Khi bạn nhìn vào sơ đồ của bất kỳ bộ xử lý đa lõi hiện đại nào, bạn sẽ luôn thấy cùng một mô hình: nhiều lõi, mỗi lõi có bộ nhớ đệm riêng gần đó và một bộ nhớ đệm cấp cuối cùng được chia sẻ, hoạt động như một điểm chung trước khi đến RAM. Sự sắp xếp này không phải là ngẫu nhiên hay tùy hứng của các nhà thiết kế, mà là một phản ứng trực tiếp đối với một vấn đề quan trọng trong các hệ thống song song: tính nhất quán của bộ nhớ đệm.
Nếu không có cơ chế duy trì tính nhất quán mạnh mẽ, mỗi lõi xử lý có thể hoạt động với một phiên bản dữ liệu khác nhau và lỗi thời trong bộ nhớ , điều này trong một chương trình thực tế dẫn đến các lỗi nhỏ, sự cố không thể đoán trước và thậm chí là sự cố hệ thống. Do đó, hiểu cách duy trì tính nhất quán này—ở cả cấp độ phần cứng và phần mềm—là chìa khóa để hiểu hiệu năng và độ ổn định của các CPU đa lõi hiện đại.
Tính nhất quán của bộ nhớ đệm là gì: ẩn dụ về thiết bị đầu cuối
Hãy tưởng tượng nhiều người ngồi trước các thiết bị đầu cuối khác nhau, tất cả cùng chỉnh sửa một tài liệu được lưu trữ trên máy chủ trung tâm . Mỗi màn hình hiển thị một bản sao của tệp và bất kỳ thay đổi nào mà một người thực hiện đều được mong đợi sẽ ngay lập tức được phản ánh trên màn hình của tất cả những người khác.
Để điều này hoạt động, cần có một cơ chế đồng bộ hóa để truyền tải các thay đổi tài liệu đến tất cả các thiết bị đầu cuối, sao cho mọi người luôn thấy cùng một phiên bản. Miễn là hệ thống này hoạt động, mọi thứ đều ổn: người nào chỉnh sửa văn bản đều biết rằng những người khác sẽ thấy phiên bản mới gần như ngay lập tức.
Giờ hãy tưởng tượng hệ thống đồng bộ hóa đột nhiên gặp sự cố. Mỗi người tiếp tục chỉnh sửa, tin rằng họ đang làm việc trên tài liệu được chia sẻ, nhưng trên thực tế, mỗi thiết bị đầu cuối chỉ còn lại một bản sao cục bộ riêng biệt . Từ thời điểm đó trở đi, những thay đổi do một người thực hiện sẽ không đến được với những người khác, và tài liệu bắt đầu phân tán một cách không kiểm soát.
Trong lĩnh vực điện toán, đây chính xác là điều sẽ xảy ra nếu CPU thiếu một giao thức nhất quán đáng tin cậy: một lõi sửa đổi dữ liệu trong bộ nhớ, nhưng các lõi khác vẫn tiếp tục đọc phiên bản cũ hơn từ bộ nhớ đệm riêng của chúng . Điều này tạo ra môi trường thuận lợi cho các lỗi logic nghiêm trọng, dữ liệu bị hỏng và hành vi không thể gỡ lỗi.
Do đó, tính nhất quán bộ nhớ cache là tập hợp các cơ chế đảm bảo rằng, trong một hệ thống đa lõi, tất cả các bản sao của cùng một dữ liệu được phân tán trên các bộ nhớ cache và RAM khác nhau duy trì trạng thái nhất quán . Ngay cả khi có nhiều bản sao, hệ thống vẫn phải hoạt động "như thể" chỉ có một bản sao duy nhất.
Bộ nhớ đệm và hệ thống phân cấp bộ nhớ trong CPU đa lõi
Bộ nhớ đệm CPU là những vùng nhớ nhỏ, tốc độ rất nhanh, lưu trữ bản sao của các khối RAM được sử dụng thường xuyên . Khi bộ xử lý thực thi mã, thay vì liên tục truy cập RAM (vốn chậm hơn), nó sẽ cố gắng đọc và ghi vào bộ nhớ đệm, giúp giảm đáng kể độ trễ.
Điểm mấu chốt ở đây là bộ nhớ đệm không lưu trữ "phiên bản chính thức" của dữ liệu, mà chỉ là một bản sao tạm thời . Theo phép ẩn dụ về thiết bị đầu cuối, RAM sẽ là tài liệu trên máy chủ, trong khi bộ nhớ đệm sẽ là các màn hình cục bộ hiển thị các bản sao của một số phần nhất định trong tệp.
Trong CPU đa lõi, thiết kế trở nên phức tạp hơn vì mỗi lõi thường có bộ nhớ đệm cấp 1 (L1) và thậm chí cả cấp 2 (L2) riêng . Bên trên đó, một bộ nhớ đệm cấp 3 dùng chung (ví dụ) được thêm vào, nằm giữa các lõi và bộ điều khiển bộ nhớ cung cấp quyền truy cập vào RAM.
Bộ nhớ đệm dùng chung này được giới thiệu vì việc cho phép tất cả các lõi truy cập trực tiếp và mạnh mẽ vào RAM sẽ gây ra xung đột truy cập, tranh chấp trên bus bộ nhớ và giảm hiệu năng đáng kể . Bộ nhớ đệm cấp cuối hoạt động như một "bộ đệm" chung giúp giảm số lần truy cập RAM và tập trung hóa phần lớn lưu lượng dữ liệu.
Hơn nữa, nhiều kiến trúc tổ chức bộ nhớ đệm theo kiểu bao hàm: các dòng được lưu trữ ở các cấp gần bộ xử lý cũng có mặt ở các cấp cao hơn trong hệ thống phân cấp . Nghĩa là, một dòng xuất hiện trong L1 cũng có trong L2 và, đến lượt nó, trong L3. Điều này có một hệ quả rất hữu ích cho tính nhất quán: chỉ cần cập nhật chính xác bộ nhớ đệm ở cấp thấp nhất là đủ để kiểm soát trạng thái của các cấp khác mà không cần phải liên tục truy cập RAM.
Vì sao bộ nhớ đệm dùng chung cấp cuối cùng lại quan trọng đối với tính nhất quán
Nếu không có bộ nhớ đệm cấp cuối toàn cục này, mỗi lõi sẽ phải kiểm tra tính nhất quán trực tiếp với bộ nhớ chính . Mỗi khi một dòng bộ nhớ trong bộ nhớ đệm riêng được sửa đổi, cần phải kiểm tra xem các lõi khác có giữ bản sao của dòng đó hay không và nếu có, thì phải cập nhật hoặc vô hiệu hóa nó ở mọi nơi.
Trong một hệ thống nhiều lõi, khối lượng công việc kiểm tra này sẽ dẫn đến một lượng lớn giao dịch truy cập vào RAM , làm mất đi phần lớn lợi ích của việc có bộ nhớ đệm nhanh. Bằng cách đặt bộ nhớ đệm dùng chung giữa các lõi và bộ nhớ, CPU có thể tập trung kiểm soát tính nhất quán vào một vị trí trung gian duy nhất.
Trong nhiều cách triển khai, bộ nhớ đệm ở các cấp cao hơn (xa bộ xử lý hơn) chứa các bản sao của các dòng dữ liệu có trong các cấp gần lõi hơn . Với cấu trúc này, giao thức nhất quán chỉ cần đảm bảo rằng cấp cuối cùng được đồng bộ hóa với bộ nhớ chính, và các cấp riêng tư của mỗi lõi được đồng bộ hóa với cấp ngay phía trên nó.
Có thể hình dung điều này như một loại búp bê Nga lồng nhau: bộ nhớ đệm cấp ba bao gồm nội dung của cấp hai và cấp một , cấp hai bao gồm nội dung của chính nó và của cấp một, và cấp một chỉ biết các dòng của riêng nó. Do đó, bằng cách kiểm soát "con búp bê lớn" (cấp cuối cùng), hệ thống có thể phối hợp các cấp còn lại hiệu quả hơn.
Kết quả là việc duy trì tính nhất quán trở nên tiết kiệm hơn về mặt thiết kế và lưu lượng bộ nhớ . Thay vì buộc mỗi lõi phải liên tục xử lý RAM, giao thức hoạt động trên bộ nhớ đệm dùng chung và từ đó quản lý các dòng nào cần được cập nhật hoặc vô hiệu hóa trong bộ nhớ đệm riêng.
Phương pháp cập nhật: vô hiệu hóa và cập nhật bản sao
Một vấn đề quan trọng phát sinh khi hai hoặc nhiều lõi xử lý muốn truy cập gần như đồng thời cùng một dòng dữ liệu được sao chép trên nhiều bộ nhớ đệm . Trong bối cảnh này, các hệ thống đảm bảo tính nhất quán thường sử dụng hai chiến lược cơ bản khi xử lý các thao tác ghi.
Phương pháp đầu tiên dựa trên việc vô hiệu hóa. Khi một nhân hệ điều hành cần ghi vào một dòng bộ nhớ đệm cụ thể, giao thức sẽ vô hiệu hóa bất kỳ bản sao nào của dòng đó có thể tồn tại trong các bộ nhớ đệm khác . Chỉ nhân hệ điều hành thực hiện việc ghi mới giữ dòng đó ở trạng thái cho phép đọc và ghi; các nhân khác, nếu muốn sử dụng lại dữ liệu đó, sẽ phải tải lại dòng từ cấp cao hơn (hoặc từ bộ nhớ) với phiên bản được cập nhật.
Chiến lược thứ hai liên quan đến việc cập nhật. Trong trường hợp này, khi một nhân hệ điều hành sửa đổi một dòng mã, hệ thống sẽ cố gắng tự động truyền nội dung mới đến các bản sao hiện có trong các bộ nhớ đệm khác . Bằng cách này, tất cả các bộ nhớ đệm đã lưu trữ dòng mã đó đều nhận được phiên bản cập nhật mà không cần phải vô hiệu hóa và tải lại sau này.
Mỗi phương pháp đều có ưu điểm và nhược điểm riêng. Việc vô hiệu hóa thường hiệu quả hơn khi các thao tác ghi diễn ra thường xuyên vì nó tránh làm quá tải hệ thống bộ nhớ với các bản cập nhật mà các lõi khác có thể không cần ngay lập tức. Ngược lại, việc cập nhật có thể có lợi khi nhiều lõi thường xuyên đọc cùng một dữ liệu được sửa đổi tương đối ít , vì nó giảm độ trễ do không phải tải lại dòng sau mỗi lần vô hiệu hóa.
Trong cả hai trường hợp, cả hai phương pháp đều sử dụng các trạng thái bổ sung và các bit điều khiển trong các dòng bộ nhớ đệm. Mỗi dòng thường bao gồm thông tin về việc nội dung của nó có khớp với nội dung trong RAM hay không , và liệu nó có được chia sẻ, sửa đổi, độc quyền, dành riêng, v.v., tùy thuộc vào giao thức cụ thể (MESI, MOESI, MSI, v.v.). Điều này cho phép phần cứng đưa ra quyết định nhanh chóng về những việc cần làm khi một thao tác đọc hoặc ghi xảy ra trên một dòng đã được sao chép.
Kiểm tra tính nhất quán giữa bộ nhớ đệm và bộ nhớ chính
Việc trực tiếp kiểm tra tính nhất quán giữa tất cả các cấp bộ nhớ đệm của CPU hoặc GPU và bộ nhớ chính sẽ là một nhiệm vụ khổng lồ, cả về độ phức tạp thiết kế lẫn chi phí hiệu năng. Do đó, các hệ thống hiện đại tổ chức việc kiểm tra này theo cấu trúc phân cấp.
Các bộ nhớ đệm gần bộ xử lý nhất (L1, L2) thường không được kết nối trực tiếp với RAM, mà được kết nối với bộ nhớ đệm cấp cao hơn. Điều này có nghĩa là tính nhất quán không được kiểm tra so với bộ nhớ chính ở mỗi cấp, mà được kiểm tra so với cấp cao hơn ngay lập tức . Điều này giúp giảm số lần truy cập RAM và đơn giản hóa logic cần thiết ở các cấp thấp hơn.
Tóm lại, việc so sánh nội dung bộ nhớ cache và nội dung RAM được thực hiện giữa bộ nhớ cache cấp cuối cùng và bộ nhớ chính . Nếu cấp cuối cùng này duy trì trạng thái chính xác và nhất quán, và mỗi cấp thấp hơn duy trì tính nhất quán với cấp trên, toàn bộ hệ thống phân cấp sẽ vẫn nhất quán mà không cần phải kiểm tra từng dòng so với RAM nhiều lần.
Khi nhân hệ điều hành ghi vào một dòng bộ nhớ đệm và thay đổi dữ liệu của nó, trạng thái của dòng đó được đánh dấu để cho biết rằng nó không còn khớp chính xác với bản sao được lưu trữ trong bộ nhớ chính nữa. Từ đó, giao thức điều phối quá trình cập nhật: nó đánh dấu các bản sao tương ứng trong các bộ nhớ đệm khác là đã được dành riêng hoặc không hợp lệ và, khi thích hợp, ghi nội dung mới vào dòng bộ nhớ chính liên quan.
Cấu trúc phân cấp này cho phép các thay đổi lan truyền dần dần từ nhân hệ điều hành, nơi cập nhật dữ liệu, đến bộ nhớ chính, đi qua từng cấp bộ nhớ đệm một cách có kiểm soát. Bằng cách này, việc duy trì tính nhất quán không trở thành nút thắt cổ chai không thể vượt qua đối với bộ xử lý.
Tính nhất quán phần cứng so với tính nhất quán phần mềm
Cho đến nay, chúng ta đã thảo luận về các cơ chế nhất quán chủ yếu được triển khai trong phần cứng: giao thức, bit trạng thái, bộ nhớ đệm dùng chung, v.v. Tuy nhiên, có một cách tiếp cận khác nhằm chuyển một phần sự phức tạp đó sang phần mềm , cụ thể là trình biên dịch và hệ điều hành.
Các lược đồ nhất quán dựa trên phần mềm cố gắng giảm thiểu nhu cầu về logic bổ sung trên chip bằng cách phân tích mã và đưa ra quyết định trong quá trình biên dịch . Ý tưởng là nếu trình biên dịch có thể suy ra khi nào và bằng cách nào dữ liệu được chia sẻ nhất định được truy cập, trong nhiều trường hợp, nó có thể ngăn dữ liệu đó được lưu vào bộ nhớ cache hoặc quản lý rõ ràng khả năng hiển thị của nó.
Cách tiếp cận này có một lợi thế rõ ràng: một phần khối lượng công việc chuyển từ việc giải quyết xung đột trong thời gian chạy sang việc giải quyết xung đột trong thời gian biên dịch . Thay vì phần cứng phát hiện và xử lý tất cả các xung đột ngay lập tức, trình biên dịch cố gắng dự đoán chúng và tạo ra mã tránh các tình huống nguy hiểm.
Nhược điểm là việc phân tích mã tĩnh bị hạn chế, và do đó các trình biên dịch có xu hướng thận trọng . Điều này có nghĩa là, để tránh vi phạm tính nhất quán, chúng thường đưa ra các quyết định làm giảm hiệu quả của bộ nhớ đệm. Nếu chúng nghi ngờ rằng một số dữ liệu có thể có vấn đề, chúng thường ngăn không cho dữ liệu đó được lưu vào bộ nhớ đệm hoặc buộc đồng bộ hóa thường xuyên hơn mức cần thiết.
Do đó, mặc dù các phương án phần mềm này hấp dẫn về mặt lý thuyết, đặc biệt là trong việc đơn giản hóa thiết kế phần cứng, nhưng trên thực tế chúng không thay thế được chức năng hỗ trợ tính nhất quán được tích hợp sẵn trong CPU , mà chỉ bổ sung cho chức năng đó trong một số trường hợp cụ thể.
Vai trò của trình biên dịch trong tính nhất quán của bộ nhớ cache
Một yếu tố quan trọng của các phương pháp đảm bảo tính nhất quán dựa trên phần mềm là vai trò của trình biên dịch. Trình biên dịch có thể thực hiện phân tích sâu mã nguồn và xác định cấu trúc dữ liệu dùng chung nào có thể không an toàn để lưu vào bộ nhớ đệm . Dựa trên điều này, nó đánh dấu các phần tử này theo một cách đặc biệt hoặc điều chỉnh quá trình tạo mã.
Cách tiếp cận đơn giản nhất, và cũng là thận trọng nhất, là ngăn chặn việc lưu trữ các biến dữ liệu dùng chung vào bộ nhớ đệm . Nghĩa là, mỗi lần truy cập vào các biến này đều buộc phải truy cập vào bộ nhớ chính hoặc một vùng không thể lưu vào bộ nhớ đệm. Điều này đảm bảo tính nhất quán, nhưng bỏ lỡ nhiều cơ hội cải thiện hiệu năng, bởi vì một cấu trúc dùng chung thực tế có thể được sử dụng riêng tư trong một số khoảng thời gian nhất định, hoặc chỉ đọc trong những khoảng thời gian khác.
Trên thực tế, vấn đề về tính nhất quán chỉ phát sinh trong những khoảng thời gian mà ít nhất một tiến trình có thể ghi vào biến và một tiến trình khác có thể đọc biến đó . Bên ngoài những khoảng thời gian quan trọng này, biến có thể được coi là dành riêng cho một luồng duy nhất hoặc thậm chí được xem như một hằng số trong một thời gian, cho phép nó được lưu vào bộ nhớ đệm mà không gặp vấn đề gì.
Các chiến lược biên dịch tiên tiến nhất cố gắng xác định những khoảng thời gian "an toàn" mà trong đó biến dùng chung có thể được coi là không xung đột . Để làm được điều này, trình biên dịch phân tích các đường dẫn thực thi, các truy cập đồng thời tiềm năng và các mẫu đồng bộ hóa (khóa, vùng критическая, v.v.). Dựa trên phân tích này, nó chia vòng đời của biến thành các giai đoạn: một số phù hợp để lưu vào bộ nhớ đệm, một số khác yêu cầu xử lý đặc biệt.
Trong các giai đoạn quan trọng, khi phát hiện truy cập đồng thời với các thao tác ghi, trình biên dịch sẽ chèn thêm các lệnh vào mã được tạo ra để đảm bảo tính nhất quán của bộ nhớ cache . Các lệnh này có thể buộc phải xóa bộ nhớ cache, tải lại bộ nhớ, thiết lập rào chắn bộ nhớ hoặc truy cập vào các vùng được đánh dấu là không thể lưu vào bộ nhớ cache, tùy thuộc vào mô hình lập trình và kiến trúc cơ bản.
Mối quan hệ giữa trình biên dịch, hệ điều hành và phần cứng
Cụm từ "trình biên dịch chèn các lệnh vào mã được tạo ra để đảm bảo tính nhất quán của bộ nhớ cache" có thể khiến người ta nghĩ rằng hệ điều hành đọc các lệnh này như thể chúng là các gợi ý cấp cao và dựa trên đó quyết định cách thực thi chương trình. Trên thực tế, cơ chế này hơi khác một chút.
Khi trình biên dịch thêm các loại lệnh này, những gì nó đưa vào mã nhị phân là các thao tác cụ thể được hỗ trợ bởi kiến trúc hoặc môi trường thời gian chạy . Ví dụ, nó có thể chèn các lệnh xóa bộ nhớ cache, các rào chắn bộ nhớ, các lệnh đặc biệt để đánh dấu các vùng là không thể lưu vào bộ nhớ cache, hoặc các lệnh gọi đến các dịch vụ của hệ điều hành để cấu hình các thuộc tính bộ nhớ.
Hệ điều hành không diễn giải những chỉ thị này như những "bình luận" hay "gợi ý" cấp cao do trình biên dịch viết; nó chỉ đơn giản là thực thi mã máy như bất kỳ mã máy nào khác . Tuy nhiên, một số chỉ thị này được thiết kế để tương tác với hệ thống con bộ nhớ và quản lý bộ nhớ đệm, do đó thay đổi cách CPU truy cập dữ liệu nhất định.
Nói cách khác, trình biên dịch thực hiện phân tích sơ bộ và tạo ra mã mà khi được thực thi sẽ tạo ra hành vi bộ nhớ đệm mong muốn . Hệ điều hành hỗ trợ bằng cách thiết lập các thuộc tính bộ nhớ (các vùng có thể lưu vào bộ nhớ đệm hoặc không thể lưu vào bộ nhớ đệm, chính sách ghi, v.v.) và cung cấp các nguyên thủy đồng bộ hóa, nhưng nó không "đọc" các lệnh đặc biệt theo nghĩa diễn giải ngữ nghĩa như trình biên dịch.
Cũng có thể xảy ra trường hợp phần cứng, khi nhận thấy một số lệnh nhất định, sẽ kích hoạt các cơ chế đồng bộ hóa hoặc liên kết cụ thể . Ví dụ, các lệnh rào chắn hoặc hàng rào đảm bảo thứ tự truy cập bộ nhớ và thực thi một số hiệu ứng hiển thị nhất định trên toàn bộ hệ thống phân cấp bộ nhớ đệm. Trong trường hợp này, có sự hợp tác ba chiều: trình biên dịch quyết định vị trí đặt các lệnh này, hệ điều hành cấu hình môi trường thực thi và phần cứng thực hiện hành vi thực tế ở cấp độ bộ nhớ đệm và bus bộ nhớ.
Kết hợp tất cả các yếu tố này, chúng đảm bảo rằng ngay cả khi có nhiều bản sao dữ liệu giống nhau được phân tán trên các bộ nhớ đệm và bộ nhớ chính khác nhau, các chương trình song song vẫn chạy với mô hình bộ nhớ nhất quán . Tính nhất quán của bộ nhớ đệm, không chỉ đơn thuần là một chi tiết nội bộ của CPU, mà trở thành một thành phần trung tâm giúp các hệ thống đa lõi hoạt động đáng tin cậy và hiệu quả.
Hiểu được cách thức kết hợp giữa hệ thống phân cấp bộ nhớ đệm, các giao thức nhất quán phần cứng và các kỹ thuật hỗ trợ phần mềm sẽ giúp ta hiểu rõ hơn lý do tại sao các thiết kế CPU hiện đại lại có cấu trúc tương tự nhau, và tại sao một lỗi nhỏ trong bất kỳ cơ chế nào trong số đó cũng có thể gây ra hành vi hỗn loạn trong các ứng dụng đồng thời phụ thuộc hoàn toàn vào việc tất cả các lõi đều nhận được cùng một dữ liệu vào đúng thời điểm.