GPU傳輸必須訪問CPU的系統(tǒng)存儲器，這會導(dǎo)致端點(diǎn)之間發(fā)生存儲器共享爭用。  當(dāng)GPU使用其共享的存儲器映射資源而不是CPU存儲器時，它可以在本地提取數(shù)據(jù)，無需先通過CPU傳遞數(shù)據(jù)。這消除了跳線和鏈路以及由此產(chǎn)生的延時，從而使GPU能夠更高效地處理數(shù)據(jù)。

PCIe主層級是一個樹形結(jié)構(gòu)，其中的每個域都有一個根聯(lián)合體，從該點(diǎn)可擴(kuò)展到“葉子”，這些“葉子”通過交換網(wǎng)和橋接器到達(dá)端點(diǎn)。鏈路的嚴(yán)格層級和方向性給多主機(jī)、多交換網(wǎng)系統(tǒng)帶來了成本高昂的設(shè)計要求。

要符合PCIe的層級，主機(jī)1必須在交換網(wǎng)1中有一個專用的下行端口，該端口連接到交換網(wǎng)2中的專用上行端口。它還需要在交換網(wǎng)2中有一個專用的下行端口，該端口連接到交換網(wǎng)3中的專用上行端口，依此類推。

非透明橋接（NTB）是這種問題的一個潛在解決方案，但由于每種類型的共享PCIe設(shè)備都需要非標(biāo)準(zhǔn)驅(qū)動程序和軟件，因此這同樣會使系統(tǒng)變得復(fù)雜。更好的方法是使用PCIe結(jié)構(gòu)，這種結(jié)構(gòu)允許標(biāo)準(zhǔn)PCIe拓?fù)淙菁{多個可訪問每個端點(diǎn)的主機(jī)。

系統(tǒng)使用一個PCIe結(jié)構(gòu)交換網(wǎng)（本例中為Microchip Switchtec® PAX系列的成員）在兩個獨(dú)立但可透明互操作的域中實現(xiàn)：即包含所有端點(diǎn)和結(jié)構(gòu)鏈路的結(jié)構(gòu)域以及每個主機(jī)專用的主機(jī)域（圖3）。主機(jī)通過在嵌入式CPU上運(yùn)行的PAX交換網(wǎng)固件保留在單獨(dú)的虛擬域中，因此，交換網(wǎng)將始終顯示為具有直連端點(diǎn)的標(biāo)準(zhǔn)單層PCIe設(shè)備，而與這些端點(diǎn)出現(xiàn)在結(jié)構(gòu)中的位置無關(guān)。  

來自主機(jī)域的事務(wù)會在結(jié)構(gòu)域中轉(zhuǎn)換為ID和地址，結(jié)構(gòu)域中通信的非分層路由也是如此。這樣，系統(tǒng)中的所有主機(jī)便可共享連接交換網(wǎng)和端點(diǎn)的結(jié)構(gòu)鏈路。交換網(wǎng)固件會攔截來自主機(jī)的所有配置平面通信（包括PCIe枚舉過程），并使用數(shù)量可配置的下行端口虛擬化一個符合PCIe規(guī)范的簡單交換網(wǎng)。

當(dāng)所有控制平面通信都路由到交換網(wǎng)固件進(jìn)行處理時，數(shù)據(jù)平面通信直接路由到端點(diǎn)。其他主機(jī)域中未使用的GPU不再滯留，因為它們可以根據(jù)每個主機(jī)的需求動態(tài)分配。結(jié)構(gòu)內(nèi)支持點(diǎn)對點(diǎn)通信，這使其能夠適應(yīng)機(jī)器學(xué)習(xí)應(yīng)用。當(dāng)以符合PCIe規(guī)范的方式向每個主機(jī)提供功能時，可以使用標(biāo)準(zhǔn)驅(qū)動程序。

個Nvidia M40 GPGPU和一個支持SR-IOV的Samsung NVMe SSD組成。在本實驗中，主機(jī)運(yùn)行代表實際機(jī)器學(xué)習(xí)工作負(fù)載的通信，包括Nvidia的CUDA點(diǎn)對點(diǎn)通信基準(zhǔn)測試實用程序和訓(xùn)練cifar10圖像分類的TensorFlow模型。

(素材來源：eccn和ttic.如涉版權(quán)請聯(lián)系刪除。特別感謝）