摘要：GM是Myrinet專用的系統(tǒng)軟件，由于采用了用層通信、在LANai上運行MCP等機(jī)制，故具有占用系統(tǒng)開銷小、延遲短、帶寬大等特點，中國外已廣泛應(yīng)用于并行計算領(lǐng)域。

    關(guān)鍵詞：Myrinet GM 用戶層通信 LANai

1 GM簡述

GM是美國Myrinet公司為其高性能網(wǎng)絡(luò)產(chǎn)品Myrinet而推出的系統(tǒng)軟件，專 用于網(wǎng)絡(luò)并行計算，在國外已廣泛應(yīng)用于大規(guī)模并行領(lǐng)域。

GM的設(shè)計思想就是要實現(xiàn)一種高速度帶寬低延遲，主機(jī)開銷極少的通信方式。GM的高效率，除了采用用戶層通信機(jī)制等外，關(guān)鍵在于充分配合Myrinet在硬件架構(gòu)上的特性。GM在Myrinet網(wǎng)卡的LANai芯片上運行MCP，承擔(dān)了大部分的通信處理工作，大大減輕了主機(jī)的通信開俏�？偟膩碚f，GM具有如下特性：

支持超過1000個節(jié)點；

可在不可靠網(wǎng)絡(luò)環(huán)境中提供可靠、有序的數(shù)據(jù)傳輸服務(wù)；

低開銷，每個數(shù)據(jù)包括只耗費主機(jī)大約1μs的處理時間；

通過提供高低兩個優(yōu)先級，可實現(xiàn)高效的防死鎖算法；

對多個用戶層程序直接訪問網(wǎng)絡(luò)接口提供存儲保護(hù)；

理論上支持的消息長度可達(dá)231－1字節(jié)，實際則受限于主機(jī)DMA內(nèi)存大小；

自動對Myrinet進(jìn)行映射，解決路由問題。

GM不足之處在于編程模式不靈活和不支持多線程。

2 GM的結(jié)構(gòu)

GM是MCP，DRIVER，LICGM三部分構(gòu)成。這三部分之間的關(guān)系可有用圖1來描述。

LIBGM為用戶程序提供編程接口，其是重要的是發(fā)送和接收函數(shù)。此外，還提供一整套通用函數(shù)，如初始化、DMA內(nèi)存管理、令牌管理、哈希管理、CRC校驗等。

LIBGM所實現(xiàn)的功能可分在三類：第一類是通用函數(shù)，如哈希管理；第二類是通過DRIVER實現(xiàn)的功能，如內(nèi)存映射功能；第三類是和MCP協(xié)同完成的功能，如發(fā)送的接收操作。其中第三類是完成數(shù)據(jù)通信功能的核心。為提高整個系統(tǒng)的性能，LIBGM和MCP之間的交互都繞開了操作系統(tǒng)，避免了包括在用戶態(tài)和核心態(tài)之間的切換，從用戶空間到核心空間數(shù)據(jù)拷貝等在內(nèi)的各種開銷。因此，從發(fā)送和接操作的路徑上看，GM采用是用戶層通信。

DRIVER是GM中的一個重要部分。其最主要的功能是完成MCP的初始化，其次是提供一些輔助性的功能。以Linux+x86平臺為例，DRIVER以Module的形式實現(xiàn)，當(dāng)被加載到內(nèi)核的時候。DRIVER同時完在一系列初始化工作，包括：查找并自動配置PCI網(wǎng)卡設(shè)備，把MCP從主要加載到LANai的EPROM并且對LANai進(jìn)行初始化，對LANai發(fā)出iocti功能來完成各種輔助功能。

MCP是GM最關(guān)鍵的部分，GM的其他功能都是在MCP的基礎(chǔ)上構(gòu)架起來的。MCP運行在Myrinet的網(wǎng)卡的LANai芯片上，它由DRIVER加載到LANai上。MCP借助LANai上的CPU和SRAM承擔(dān)了大部分的通信處理工作，包括：在主機(jī)內(nèi)存和LANai SRAM之間的數(shù)據(jù)DMA傳送、數(shù)據(jù)包的拆分和組裝、CRC校驗、通信的應(yīng)答管理、端口和令牌資源的分配、調(diào)度管理等。因此，主機(jī)方面的通信開銷幾乎為零。

網(wǎng)卡上的SRAM主要作用發(fā)送和接收數(shù)據(jù)的緩沖。MCP采取端口（port）、優(yōu)先級(Priority)放發(fā)送／接收令牌（Token）等手段來實現(xiàn)資源的控制、分配和利用。對用戶程序而言，網(wǎng)卡有固定數(shù)目的端口，每個端口有高低兩個優(yōu)先級，而每個端口有固定數(shù)目的發(fā)送和接收令牌。在發(fā)送或接收前，必須首先要打開端口，并申請