加速器必須具有更大的外部存儲(chǔ)規(guī)模和非常高的帶寬。當(dāng)今的高端加速器通常使用高性能的外部存儲(chǔ)器，存儲(chǔ)規(guī)模達(dá)8-16GB，運(yùn)行速度可高達(dá)4Tbps。它還必須能夠?qū)⑦@些數(shù)據(jù)傳輸?shù)接?jì)算平臺(tái)而不會(huì)影響性能。

然而，無(wú)論如何去實(shí)現(xiàn)高速存儲(chǔ)和計(jì)算引擎之間的數(shù)據(jù)通道，它幾乎在所有情況下都是系統(tǒng)性能的瓶頸，特別是在實(shí)時(shí)ASR這樣的低延遲應(yīng)用中。

FPGA設(shè)計(jì)旨在存儲(chǔ)和計(jì)算之間提供最佳數(shù)據(jù)路由通道,從而為這些工作負(fù)載提供一個(gè)出色的加速平臺(tái)。

圖形處理器(GPU)架構(gòu)是基于數(shù)據(jù)并行模型，較小的批處理量(batch size)會(huì)導(dǎo)致GPU加速硬件的利用率較低，從而導(dǎo)致成本增加和效率降低。

在機(jī)器學(xué)習(xí)(ML)加速領(lǐng)域中，已有FPGA架構(gòu)宣稱其推理速度可高達(dá)150 TOPS。

硬件加速解決方案數(shù)據(jù)表(以TOPS即每秒萬(wàn)億次操作為單位進(jìn)行衡量)中的性能數(shù)據(jù)并不能總是很好地表示實(shí)際性能，因?yàn)樵S多硬件加速器件由于與器件架構(gòu)相關(guān)的瓶頸而未得到充分利用。

這些數(shù)據(jù)以TOPS為單位，強(qiáng)調(diào)了加速器計(jì)算引擎的處理能力，但忽略了關(guān)鍵因素，例如外部存儲(chǔ)器的批處理量、速度和規(guī)模，以及在外部存儲(chǔ)器和加速器計(jì)算引擎之間傳輸數(shù)據(jù)的能力。

對(duì)于ASR工作負(fù)載，關(guān)注存儲(chǔ)帶寬和在加速器內(nèi)高效地傳輸數(shù)據(jù)為加速器性能和效率的實(shí)現(xiàn)提供了更強(qiáng)有力的指導(dǎo)。

安徽紐本科技有限公司http://fjbg.51dzw.com