嵌入式交換網(wǎng)固件處理交換網(wǎng)的低級(jí)配置和管理，系統(tǒng)由Microchip的ChipLink調(diào)試和診斷實(shí)用程序管理。      

四個(gè)GPU最初分配給主機(jī)1，PAX結(jié)構(gòu)管理器顯示在結(jié)構(gòu)中發(fā)現(xiàn)的所有設(shè)備，其中GPU綁定到Windows主機(jī)。主機(jī)上的結(jié)構(gòu)不再?gòu)?fù)雜，所有GPU就像直接連接到虛擬交換網(wǎng)一樣。隨后，結(jié)構(gòu)管理器將綁定所有設(shè)備，Windows設(shè)備管理器將顯示GPU。主機(jī)將交換網(wǎng)視為下行端口數(shù)量可配置的簡(jiǎn)單物理PCIe交換網(wǎng)。

一旦CUDA發(fā)現(xiàn)了四個(gè)GPU，點(diǎn)對(duì)點(diǎn)帶寬測(cè)試就會(huì)顯示單向傳輸速率為12.8 GBps，雙向傳輸速率為24.9 GBps。這些傳輸直接跨過(guò)PCIe結(jié)構(gòu)，而無(wú)需通過(guò)主機(jī)。如果運(yùn)行用于訓(xùn)練Cifar10圖像分類(lèi)算法的TensorFlow模型并使工作負(fù)載分布在全部四個(gè)GPU上，則可以將兩個(gè)GPU釋放回結(jié)構(gòu)池中，將它們與主機(jī)解除綁定。這樣可以釋放其余兩個(gè)GPU來(lái)執(zhí)行其他工作負(fù)載。

與Windows主機(jī)一樣，Linux主機(jī)也將交換網(wǎng)視為簡(jiǎn)單的PCIe交換網(wǎng)，無(wú)需自定義驅(qū)動(dòng)程序，而CUDA也可以發(fā)現(xiàn)GPU，并在Linux主機(jī)上運(yùn)行P2P傳輸。性能類(lèi)似于使用Windows主機(jī)實(shí)現(xiàn)的性能。

GPU點(diǎn)對(duì)點(diǎn)傳輸帶寬事務(wù)類(lèi)型主機(jī)1平均帶寬主機(jī)2平均帶寬單向P2P12.8 GBps12.7 GBps雙向P2P24.9 GBps24.6 GBps下一步是將SR-IOV虛擬功能連接到Windows主機(jī)，PAX將此類(lèi)功能以標(biāo)準(zhǔn)物理NVM設(shè)備的形式提供，以便主機(jī)可以使用標(biāo)準(zhǔn)NVMe驅(qū)動(dòng)程序。此后，虛擬功能將與Linux主機(jī)結(jié)合，并且新的NVMe設(shè)備將出現(xiàn)在模塊設(shè)備列表中。兩個(gè)主機(jī)現(xiàn)在都可以獨(dú)立使用其虛擬功能。

虛擬PCIe交換網(wǎng)和所有動(dòng)態(tài)分配操作都以完全符合PCIe規(guī)范的方式呈現(xiàn)給主機(jī)，以便主機(jī)能夠使用標(biāo)準(zhǔn)驅(qū)動(dòng)程序。嵌入式交換網(wǎng)固件提供了一個(gè)簡(jiǎn)單的管理接口，這樣便可通過(guò)成本低廉的外部處理器來(lái)配置和管理PCIe結(jié)構(gòu)。

設(shè)備點(diǎn)對(duì)點(diǎn)事務(wù)默認(rèn)情況下處于使能狀態(tài)，不需要外部結(jié)構(gòu)管理器進(jìn)行額外配置或管理。

PCIe交換網(wǎng)結(jié)構(gòu)是一種能夠充分利用CPU巨大性能的絕佳方法，但PCIe標(biāo)準(zhǔn)本身存在一些障礙。不過(guò)，可以通過(guò)使用動(dòng)態(tài)分區(qū)和多主機(jī)單根I/O虛擬化共享技術(shù)來(lái)解決這些難題，以便可以將GPU和NVMe資源實(shí)時(shí)動(dòng)態(tài)分配給多主機(jī)系統(tǒng)中的任何主機(jī)，從而滿(mǎn)足機(jī)器學(xué)習(xí)工作負(fù)載不斷變化的需求。

(素材來(lái)源：eccn和ttic.如涉版權(quán)請(qǐng)聯(lián)系刪除。特別感謝）