基于ARMv8的系統(tǒng)中的虛擬化設(shè)施在這些系統(tǒng)中扮演著特殊角色，并且由幾個(gè)組件組成。盡管ARMv7具有特殊的CPU模式來(lái)運(yùn)行虛擬機(jī)監(jiān)控程序作為擴(kuò)展，但在ARMv8中，它已成為體系結(jié)構(gòu)的一部分，并且已以EL2的名稱集成到特權(quán)級(jí)系統(tǒng)中。同時(shí)，此模式僅解決與CPU訪問(wèn)內(nèi)存和外圍設(shè)備等系統(tǒng)資源相關(guān)的問(wèn)題。為了提高虛擬環(huán)境中設(shè)備啟動(dòng)的事務(wù)處理效率，已經(jīng)為基于ARMv8的系統(tǒng)開(kāi)發(fā)了許多組件，例如新的中斷控制器和IOMMU。本文從系統(tǒng)軟件開(kāi)發(fā)的角度概述了這些功能。

基于ARMv8的系統(tǒng)中的虛擬化的組織如圖1所示：EL2特權(quán)級(jí)別運(yùn)行虛擬機(jī)監(jiān)控程序，以控制虛擬機(jī)（VM）代碼的執(zhí)行以及虛擬機(jī)之間的資源共享。VM實(shí)例保留EL1（操作系統(tǒng)內(nèi)核，特權(quán)代碼）和EL0（非特權(quán)代碼）級(jí)別。地址轉(zhuǎn)換分為兩個(gè)階段（圖2）：在第一階段，使用第一級(jí)轉(zhuǎn)換表（保存在TTBR0_EL1 / TTBR1_EL1寄存器中的指針）從虛擬地址計(jì)算出所謂的中間物理地址（IPA）；在第二階段，使用管理程序準(zhǔn)備的第二級(jí)表計(jì)算實(shí)際物理地址（指針存儲(chǔ)在VTTBR_EL2寄存器中）。這樣的組織提供了有效的特權(quán)分離，并將VM與硬件隔離。例如，這允許

圖1.基于ARMv8的系統(tǒng)中的虛擬化

兩級(jí)翻譯兩級(jí)轉(zhuǎn)換允許VM維護(hù)自己的轉(zhuǎn)換表，同時(shí)還允許虛擬機(jī)監(jiān)控程序完全控制最終結(jié)果。EL2特權(quán)級(jí)別專門設(shè)計(jì)用于執(zhí)行管理程序代碼，并且與其他級(jí)別有所不同。因此，這是最低特權(quán)級(jí)別，可以訪問(wèn)特殊寄存器VTTBR_EL2，VTCR_EL2以及許多其他打算用于VM管理的特權(quán)。

在ARMv8架構(gòu)的原始版本中，僅為管理程序提供了一個(gè)轉(zhuǎn)換表，為當(dāng)前VM提供了另一個(gè)轉(zhuǎn)換表。系統(tǒng)管理程序可以訪問(wèn)幾個(gè)特殊寄存器，通過(guò)這些寄存器可以設(shè)置EL1級(jí)別的VM可見(jiàn)的配置參數(shù)，例如CPU標(biāo)識(shí)符（制造商，版本等）和多處理器系統(tǒng)ID。這樣一來(lái)，就可以將運(yùn)行在同一系統(tǒng)上的VM暴露給不同版本和制造商的虛擬SMP系統(tǒng)和CPU的不同拓?fù)洹?/p>

如果VM中發(fā)生需要管理程序干預(yù)的事件，則其處理如下：

EL2級(jí)別發(fā)生異常；

根據(jù)其類型，從表中調(diào)用適當(dāng)?shù)奶幚沓绦颍ǖ刂反鎯?chǔ)在VBAR_EL2寄存器中）；

執(zhí)行必要的動(dòng)作；

如果需要，將所需的值放入寄存器中；

虛擬機(jī)管理程序?qū)⒎祷氐桨l(fā)生退出的虛擬機(jī)（如果虛擬機(jī)管理程序進(jìn)行了相應(yīng)的設(shè)計(jì)，則會(huì)切換到另一個(gè)虛擬機(jī)）。

圖2.地址轉(zhuǎn)換分為兩個(gè)階段

通過(guò)HCR_EL2寄存器位定義發(fā)生此類VM退出異常的事件。因此，這些可以是系統(tǒng)寄存器訪問(wèn)，包括在EL1特權(quán)級(jí)別可用的訪問(wèn)（例如TTBR0_ EL1 / TTBR1_EL1，F(xiàn)AR_EL1），高速緩存和TLB刷新指令，常規(guī)異常（中斷，包括來(lái)自計(jì)時(shí)器和不受支持的操作代碼的中斷），以及中斷和事件等待指令。兩級(jí)地址轉(zhuǎn)換使能也由該寄存器控制。此外，在EL2級(jí)別上有一個(gè)單獨(dú)的硬件計(jì)時(shí)器，它允許虛擬機(jī)管理程序配置一個(gè)周期性中斷，通常用于啟動(dòng)VM切換，類似于現(xiàn)代OS中切換任務(wù)的方式。

切換過(guò)程還包括保存當(dāng)前VM上下文，加載新VM以及將控制權(quán)轉(zhuǎn)移給它。同時(shí)，VM可以類似于EL0級(jí)別的非特權(quán)代碼執(zhí)行系統(tǒng)調(diào)用的方式來(lái)執(zhí)行虛擬機(jī)管理程序調(diào)用。為了執(zhí)行這樣的調(diào)用，VM將參數(shù)放置在寄存器中并執(zhí)行“ hvc”指令。這會(huì)導(dǎo)致以標(biāo)準(zhǔn)方式處理的EL2特權(quán)級(jí)別的異常。通常，這在調(diào)用標(biāo)準(zhǔn)化PSCI協(xié)議功能時(shí)發(fā)生。

還應(yīng)該提到的是，管理程序可以攔截從VM到受信任代碼例程的調(diào)用（例如，在此處實(shí)施非虛擬化環(huán)境中的PSCI，并以最高特權(quán)級(jí)別EL3處理對(duì)它的調(diào)用）。ARMv8體系結(jié)構(gòu)還包含其他功能，可以提高虛擬化環(huán)境的性能：除了虛擬機(jī)管理程序可以分配的共享域以減少緩存一致性流量之外，還可以為每個(gè)VM分配自己的標(biāo)識(shí)符或VMID。它的使用可以避免在切換虛擬機(jī)時(shí)“昂貴”的TLB刷新。

ARMv8的原始版本提供了8位標(biāo)識(shí)符，后來(lái)又?jǐn)U展為16位。另外，在ARMv8.1中，作為VM主機(jī)擴(kuò)展的一部分，添加了EL2級(jí)別的第二個(gè)轉(zhuǎn)換表TTBR1_EL2，以便Type 2的虛擬機(jī)管理程序（屬于主機(jī)OS）具有更多的可能性。同時(shí)，如上所述，功能齊全的虛擬化要求VM與虛擬機(jī)與外圍設(shè)備（網(wǎng)絡(luò)適配器，存儲(chǔ)控制器等）進(jìn)行交互，而虛擬機(jī)管理程序的參與最少，并且從設(shè)備到處理器的傳送中斷。

系統(tǒng)內(nèi)存管理單元

ARMv8系統(tǒng)中虛擬化環(huán)境的這些方面由兩個(gè)單元處理：通用中斷控制器（GIC）和系統(tǒng)內(nèi)存管理單元（SMMU）（圖3）。SMMU以與CPU啟動(dòng)的內(nèi)存訪問(wèn)相同的方式執(zhí)行I / O地址的轉(zhuǎn)換。該單元支持I / O地址的一階段和兩階段轉(zhuǎn)換。因此，轉(zhuǎn)換和保護(hù)內(nèi)存區(qū)域的好處可用于VM以及虛擬機(jī)管理程序中。因此，允許設(shè)備僅對(duì)特定的存儲(chǔ)器地址范圍進(jìn)行讀/寫操作。

圖3.系統(tǒng)內(nèi)存管理單元（SMMU）

此外，有時(shí)通過(guò)SMMU在I / O緩沖區(qū)上組織分散收集操作很方便。轉(zhuǎn)換階段的用法模型與CPU內(nèi)核的用法模型幾乎相同（即，第一階段的輸出產(chǎn)生當(dāng)前VM唯一的IPA，第二階段的輸出產(chǎn)生整個(gè)主機(jī)唯一的實(shí)際物理地址。系統(tǒng)）。SMMU轉(zhuǎn)換表的格式類似于CPU的格式，但頁(yè)面屬性有所不同。支持4、16和64 KB的頁(yè)面大小，以及一個(gè)或兩個(gè)轉(zhuǎn)換表，具體取決于寄存器設(shè)置和轉(zhuǎn)換階段以及完整的48位或52位地址空間。

每個(gè)涉及的設(shè)備都有其自己的翻譯上下文（最終選擇關(guān)聯(lián)的翻譯表集）。可以在多個(gè)設(shè)備之間共享單個(gè)上下文。單元使用所謂的流ID（取決于硬件的設(shè)備標(biāo)識(shí)符）執(zhí)行上下文選擇。因此，對(duì)于PCIe設(shè)備（物理或虛擬功能），RID用作在PCIe配置空間中復(fù)制設(shè)備地址的標(biāo)識(shí)符。SMMU具有自己的TLB，并支持VM ID進(jìn)行加速。在錯(cuò)誤的配置檢測(cè)，轉(zhuǎn)換錯(cuò)誤和其他異常的情況下，SMMU會(huì)聲明所謂的上下文中斷（即，綁定到轉(zhuǎn)換上下文的中斷）。

SMMU的維護(hù)類似于CPU內(nèi)存管理單元（MMU）的維護(hù)。但是，對(duì)處理器MMU的操作（TLB重置，轉(zhuǎn)換結(jié)果檢索等）是通過(guò)特殊指令執(zhí)行的，而對(duì)于SMMU，它們是通過(guò)訪問(wèn)上下文寄存器來(lái)執(zhí)行的。截至2017年底，SMMU規(guī)范已發(fā)布多個(gè)版本，最新版本為3.1。SMMU 3.0和3.1版支持?jǐn)U展的流ID，并使用RAM中的表來(lái)匹配流和上下文的ID。這樣的表可以具有一或兩個(gè)級(jí)別。表元素包含指向也存儲(chǔ)在內(nèi)存中的上下文描述符的指針，以及與該元素相關(guān)的VM標(biāo)識(shí)符，以及指向第二級(jí)轉(zhuǎn)換表的指針。

上下文描述符又包含指向第一級(jí)轉(zhuǎn)換表的指針。SMMUv3的重要功能之一是能夠停止事務(wù)的執(zhí)行直到軟件做出響應(yīng)。這種模型允許設(shè)備訪問(wèn)不在RAM中的頁(yè)面（例如，換出到文件/交換分區(qū)中）或以推測(cè)方式分配的頁(yè)面。SMMU還可以在轉(zhuǎn)換表中自動(dòng)設(shè)置更改（或臟）的頁(yè)面指示位。這可以簡(jiǎn)化VM遷移，對(duì)VM狀態(tài)進(jìn)行快照等。SMMUv3還支持VM標(biāo)識(shí)符掩碼，該掩碼允許在不同VM之間共享轉(zhuǎn)換表，從而減輕了TLB壓力。

在SMMUv3中，控制和事件信號(hào)均得到了顯著重構(gòu)：此單元使用事件隊(duì)列，該事件隊(duì)列是內(nèi)存中的環(huán)形緩沖區(qū)，上下文中斷被表示為隊(duì)列中新描述符出現(xiàn)的中斷所代替。要獲取設(shè)備訪問(wèn)的頁(yè)面，有一個(gè)單獨(dú)的隊(duì)列，即所謂的頁(yè)面請(qǐng)求接口（PRI）。如上所述，不是上下文寄存器，而是使用內(nèi)存中的控制塊，并且通過(guò)將命令描述符寫入命令隊(duì)列并提交來(lái)執(zhí)行上下文管理。

GIC在虛擬環(huán)境功能中起著至關(guān)重要的作用。在2017年底，該規(guī)范的第四個(gè)版本是最新版本，而第二個(gè)版本是針對(duì)ARMv8處理器的最小版本。由于必須在多處理器系統(tǒng)中傳遞中斷（現(xiàn)有的實(shí)現(xiàn)可以具有256個(gè)或更多的硬件線程），因此GIC本身是相當(dāng)復(fù)雜的設(shè)備。但是，本文僅考慮與虛擬化直接相關(guān)的那些控制器功能。大多數(shù)GIC寄存器未虛擬化，這導(dǎo)致在訪問(wèn)VM時(shí)退出。同時(shí)，該規(guī)范引入了諸如虛擬中斷之類的概念。

中斷虛擬化

虛擬中斷可以分為兩個(gè)虛擬組之一：0和1。組0保留所謂的快速中斷請(qǐng)求（FIQ），而組1保留所有其他中斷（中斷請(qǐng)求，IRQ）。虛擬中斷由處理器以與物理中斷完全相同的方式處理。基于ARMv8的虛擬化環(huán)境中的中斷處理的組織方式如下：將設(shè)備的物理中斷發(fā)送到EL2級(jí)別（發(fā)送至管理程序），如果該中斷旨在用于虛擬機(jī)，則管理程序會(huì)激活虛擬處理器上的相應(yīng)虛擬中斷。它。系統(tǒng)中斷和服務(wù)中斷都可以路由到管理程序。系統(tǒng)管理程序根據(jù)GIC規(guī)范在對(duì)物理中斷進(jìn)行虛擬化之前對(duì)其進(jìn)行處理。

GIC對(duì)中斷虛擬化的支持由代表虛擬中斷的事件列表支持，這些事件列表存儲(chǔ)在相應(yīng)的寄存器中，并作為虛擬IRQ或FIQ處理。通過(guò)處理器寄存器接口對(duì)虛擬中斷的控制類似于對(duì)物理中斷的控制。因此，在虛擬處理器上運(yùn)行的軟件能夠執(zhí)行以下操作：

設(shè)置虛擬優(yōu)先級(jí)掩碼，

控制在組內(nèi)解釋虛擬優(yōu)先級(jí)的方式，

確認(rèn)虛擬中斷，

降低虛擬中斷的優(yōu)先級(jí)，并且

停用虛擬中斷。

為了管理虛擬中斷，CPU接口提供了一組系統(tǒng)寄存器，它們與物理中斷控制寄存器位于相同的地址。這意味著控制機(jī)制對(duì)于VM絕對(duì)是透明的。虛擬中斷列表上的寄存器數(shù)量是實(shí)現(xiàn)定義的，但限制為16個(gè)。如果尋址到虛擬處理器的中斷數(shù)量超出了可用寄存器的數(shù)量，則虛擬機(jī)管理程序可以將相應(yīng)的事件存儲(chǔ)在內(nèi)存中，以將其寫入釋放的事件中。稍后注冊(cè)。中斷的優(yōu)先級(jí)在硬件中執(zhí)行。

虛擬接口生成尋址到虛擬機(jī)管理程序的中斷，該信號(hào)通知虛擬機(jī)管理程序應(yīng)相應(yīng)響應(yīng)的事件（空中斷列表，啟用和禁用組，針對(duì)不在寄存器中的中斷的中斷結(jié)束等）。除了專用外圍設(shè)備中斷（PPI）和共享外圍設(shè)備中斷（SPI），ARMv8系統(tǒng)還具有一類通過(guò)消息（消息信號(hào)中斷（MSI））發(fā)出信號(hào)的中斷，稱為局部特定外圍設(shè)備中斷（LPI）。

GICv3和更高版本的GIC對(duì)此擴(kuò)展類提供了擴(kuò)展的支持，可以根據(jù)特殊規(guī)則（中斷轉(zhuǎn)換服務(wù)（ITS））處理中斷消息。但是，這些功能在某種程度上與虛擬化有間接關(guān)系，但是有必要對(duì)其進(jìn)行簡(jiǎn)要描述以提供對(duì)GICv4中引入的更改的總體了解。

圖4.在基于ARMv8的系統(tǒng)中的虛擬化環(huán)境中，組件與中斷控制器的接口和交互

在使用ITS時(shí)，設(shè)備通過(guò)使用GITS_TRANSLATOR寄存器中的目標(biāo)地址發(fā)出寫事務(wù)來(lái)發(fā)出事件信號(hào)。寫事務(wù)由正在寫入的數(shù)據(jù)（包含事件ID）和源標(biāo)識(shí)符組成，該數(shù)據(jù)與SMMU相同。系統(tǒng)軟件對(duì)ITS寄存器進(jìn)行編程，以便它們指向內(nèi)存中的設(shè)備，集合和中斷存儲(chǔ)器表，這些表包含處理來(lái)自相關(guān)源的事件的規(guī)則，這些事件指定了目標(biāo)CPU內(nèi)核和那里的中斷ID。

中斷導(dǎo)致未決中斷表中元素的相應(yīng)字段設(shè)置。對(duì)于GICv3，此機(jī)制僅針對(duì)物理中斷（即，由設(shè)備直接發(fā)出信號(hào)的中斷）定義。這導(dǎo)致在管理程序?qū)嵤┲械哪承┎槐恪Ｌ貏e是，它要求管理程序在軟件中執(zhí)行由ITS執(zhí)行的所有操作。GICv4引入了以編程方式生成此類中斷并將LPI轉(zhuǎn)換為針對(duì)相應(yīng)虛擬處理器設(shè)置的虛擬中斷的功能，為此引入了描述中斷與目標(biāo)處理器的親和力的其他表以及虛擬掛起的中斷表。如果在中斷到達(dá)期間正在映射到目標(biāo)vCPU的目標(biāo)物理CPU內(nèi)核上執(zhí)行具有不同標(biāo)識(shí)符的VM，GICv4生成一個(gè)特殊的中斷，該中斷旨在通知系統(tǒng)管理程序。為了控制虛擬中斷的轉(zhuǎn)換，已將新的命令類型添加到ITS GICv4命令界面。lw