高性能計算環(huán)境開始使用GPU，因為GPU能夠快速處理深度學(xué)習(xí)和機(jī)器學(xué)習(xí)應(yīng)用中生成的大量數(shù)據(jù)。不過，就像許多可提高應(yīng)用性能的新型數(shù)據(jù)中心創(chuàng)新一樣，這項創(chuàng)新也暴露出新的系統(tǒng)瓶頸。在這些應(yīng)用中，用于提高系統(tǒng)性能的新興架構(gòu)涉及通過一個PCIe®結(jié)構(gòu)在多個主機(jī)之間共享系統(tǒng)資源。

PCIe標(biāo)準(zhǔn)(特別是其基于樹的傳統(tǒng)層級)會限制資源共享的實(shí)現(xiàn)方式(和實(shí)現(xiàn)程度)。不過，可以實(shí)現(xiàn)一種低延時的高速結(jié)構(gòu)方法，這種方法允許在多個主機(jī)之間共享大量GPU和NVMe SSD，同時仍支持標(biāo)準(zhǔn)系統(tǒng)驅(qū)動程序。

PCIe結(jié)構(gòu)方法采用動態(tài)分區(qū)和多主機(jī)單根I/O虛擬化(SR-IOV)共享。各PCIe結(jié)構(gòu)之間可直接路由點(diǎn)對點(diǎn)傳輸。這樣便可為點(diǎn)對點(diǎn)傳輸提供最佳路由，減少根端口擁塞，并且更有效地平衡CPU資源的負(fù)載。

一個PCIe結(jié)構(gòu)交換網(wǎng)(本例中為Microchip Switchtec® PAX系列的成員)在兩個獨(dú)立但可透明互操作的域中實(shí)現(xiàn)：即包含所有端點(diǎn)和結(jié)構(gòu)鏈路的結(jié)構(gòu)域以及每個主機(jī)專用的主機(jī)域。主機(jī)通過在嵌入式CPU上運(yùn)行的PAX交換網(wǎng)固件保留在單獨(dú)的虛擬域中，因此，交換網(wǎng)將始終顯示為具有直連端點(diǎn)的標(biāo)準(zhǔn)單層PCIe設(shè)備，而與這些端點(diǎn)出現(xiàn)在結(jié)構(gòu)中的位置無關(guān)。

主機(jī)域的事務(wù)會在結(jié)構(gòu)域中轉(zhuǎn)換為ID和地址，反之，結(jié)構(gòu)域中通信的非分層路由也是如此。這樣，系統(tǒng)中的所有主機(jī)便可共享連接交換網(wǎng)和端點(diǎn)的結(jié)構(gòu)鏈路。交換網(wǎng)固件會攔截來自主機(jī)的所有配置平面通信(包括PCIe枚舉過程)，并使用數(shù)量可配置的下行端口虛擬化一個符合PCIe規(guī)范的簡單交換網(wǎng)。

當(dāng)所有控制平面通信都路由到交換網(wǎng)固件進(jìn)行處理時，數(shù)據(jù)平面通信直接路由到端點(diǎn)。其他主機(jī)域中未使用的GPU不再滯留，因為它們可以根據(jù)每個主機(jī)的需求動態(tài)分配。結(jié)構(gòu)內(nèi)支持點(diǎn)對點(diǎn)通信，這使其能夠適應(yīng)機(jī)器學(xué)習(xí)應(yīng)用。當(dāng)以符合PCIe規(guī)范的方式向每個主機(jī)提供功能時，可以使用標(biāo)準(zhǔn)驅(qū)動程序。

CUDA發(fā)現(xiàn)了四個GPU，點(diǎn)對點(diǎn)帶寬測試就會顯示單向傳輸速率為12.8 GBps，雙向傳輸速率為24.9 GBps。這些傳輸直接跨過PCIe結(jié)構(gòu)，而無需通過主機(jī)。如果運(yùn)行用于訓(xùn)練Cifar10圖像分類算法的TensorFlow模型并使工作負(fù)載分布在全部四個GPU上，則可以將兩個GPU釋放回結(jié)構(gòu)池中，將它們與主機(jī)解除綁定。這樣可以釋放其余兩個GPU來執(zhí)行其他工作負(fù)載。與Windows主機(jī)一樣，Linux主機(jī)也將交換網(wǎng)視為簡單的PCIe交換網(wǎng)，無需自定義驅(qū)動程序，而CUDA也可以發(fā)現(xiàn)GPU，并在Linux主機(jī)上運(yùn)行P2P傳輸。性能類似于使用Windows主機(jī)實(shí)現(xiàn)的性能。

PCIe交換網(wǎng)結(jié)構(gòu)是一種能夠充分利用CPU巨大性能的絕佳方法，但PCIe標(biāo)準(zhǔn)本身存在一些障礙�？梢酝ㄟ^使用動態(tài)分區(qū)和多主機(jī)單根I/O虛擬化共享技術(shù)來解決這些難題，以便可以將GPU和NVMe資源實(shí)時動態(tài)分配給多主機(jī)系統(tǒng)中的任何主機(jī)，從而滿足機(jī)器學(xué)習(xí)工作負(fù)載不斷變化的需求。

(素材來源：21ic.如涉版權(quán)請聯(lián)系刪除。特別感謝）