ResNet-50神經(jīng)網(wǎng)絡(luò)的卷積運(yùn)算強(qiáng)度混合精度
發(fā)布時(shí)間:2020/11/12 13:15:43 訪問次數(shù):1095
對持續(xù)創(chuàng)新的強(qiáng)烈需求則需要使用靈活應(yīng)變的領(lǐng)域?qū)S眉軜?gòu) (DSA)。優(yōu)化 AI 推斷性能和降低功耗的主要趨勢之一是使用較低精度和混合精度。為降低硬件設(shè)計(jì)復(fù)雜性,模型量化被當(dāng)作關(guān)鍵技術(shù)應(yīng)用于各類硬件平臺。大量工作被投入用于最大限度地降低 CNN 運(yùn)算量和存儲成本。這項(xiàng)研究充分地證明,對于大多數(shù)計(jì)算機(jī)視覺任務(wù),在不嚴(yán)重犧牲精度的情況下,權(quán)重參數(shù)和激活參數(shù)可以用 INT8 表達(dá)。
對于某些邊緣應(yīng)用而言,硬件資源仍然不足。在對邊緣應(yīng)用使用較低的位寬時(shí),一些常見的硬件設(shè)計(jì)解決方案使用簡化的乘法器。盡管這些解決方案時(shí)延低、吞吐量大,但它們與全精度模型相比,仍然存在較大的精度差距。在模型精度和硬件性能之間尋求平衡變得至關(guān)重要。
賽靈思運(yùn)用幾種常見的網(wǎng)絡(luò)結(jié)構(gòu)MobilenetV1和MobilenetV2,在 ImageNet 任務(wù)上通過使用幾種不同的量化算法進(jìn)行了實(shí)驗(yàn)。結(jié)果顯示精度隨著位寬減少而下降。
在位寬低于 4 時(shí)精度下降顯著。賽靈思也使用 Williams 等介紹的 Roofline 模型,分析不同位寬下的硬件性能,以賽靈思 ZCU102 評估板為例,隨著 MAC 的精度降低,硬件成本降低,性能得到提高。
低比特量化可通過降低存儲器需求提高性能。這在 ResNet-50 神經(jīng)網(wǎng)絡(luò)的卷積運(yùn)算強(qiáng)度上得到證實(shí)。該網(wǎng)絡(luò)分別用 8 位精度和 4 位精度進(jìn)行了運(yùn)算。INT4 在模型精度和硬件性能之間實(shí)現(xiàn)了最佳權(quán)衡。
應(yīng)用程序本身的秘密性和完整性方面,在芯片啟動(dòng)專題中有詳細(xì)的介紹,即芯片可以啟動(dòng)經(jīng)過國密SM4或國際AES算法加密后的二進(jìn)制應(yīng)用程序,可防止應(yīng)用程序被非法竊取后進(jìn)反匯編破譯。在實(shí)際應(yīng)用中,還可以通過多種加密手段組合及其它防護(hù)手段的結(jié)合使用,來進(jìn)一步增強(qiáng)數(shù)據(jù)的安全級別。
在碼靈半導(dǎo)體CFW32C7UL系列芯片中,我們主要針對的是應(yīng)用程序知識產(chǎn)權(quán)的安全保護(hù)。因?yàn)楝F(xiàn)實(shí)中,總有一些不法廠商通過直接復(fù)制盜取其它廠家的設(shè)備(直接復(fù)制PCB板、設(shè)備元件及可執(zhí)行程序),以短期獲取暴利,嚴(yán)重?cái)_亂行業(yè)市場秩序,給設(shè)備原廠的生產(chǎn)經(jīng)營造成極大的不良影響。因硬件防復(fù)制比較困難,目前行業(yè)內(nèi)為防止設(shè)備被復(fù)制,常通采用保護(hù)設(shè)備的可執(zhí)行程來完成產(chǎn)品防復(fù)制,這包括前面提到的防止程序的反編譯和防止程序直接使用。
數(shù)據(jù)秘密性方面,通過前幾期的國密算法和國際標(biāo)準(zhǔn)加解密算法介紹中對數(shù)據(jù)加解密應(yīng)用的闡述,我們知道通過使用這些商用密碼對數(shù)據(jù)的加密可保證數(shù)據(jù)傳輸過程中的數(shù)據(jù)私性。
對持續(xù)創(chuàng)新的強(qiáng)烈需求則需要使用靈活應(yīng)變的領(lǐng)域?qū)S眉軜?gòu) (DSA)。優(yōu)化 AI 推斷性能和降低功耗的主要趨勢之一是使用較低精度和混合精度。為降低硬件設(shè)計(jì)復(fù)雜性,模型量化被當(dāng)作關(guān)鍵技術(shù)應(yīng)用于各類硬件平臺。大量工作被投入用于最大限度地降低 CNN 運(yùn)算量和存儲成本。這項(xiàng)研究充分地證明,對于大多數(shù)計(jì)算機(jī)視覺任務(wù),在不嚴(yán)重犧牲精度的情況下,權(quán)重參數(shù)和激活參數(shù)可以用 INT8 表達(dá)。
對于某些邊緣應(yīng)用而言,硬件資源仍然不足。在對邊緣應(yīng)用使用較低的位寬時(shí),一些常見的硬件設(shè)計(jì)解決方案使用簡化的乘法器。盡管這些解決方案時(shí)延低、吞吐量大,但它們與全精度模型相比,仍然存在較大的精度差距。在模型精度和硬件性能之間尋求平衡變得至關(guān)重要。
賽靈思運(yùn)用幾種常見的網(wǎng)絡(luò)結(jié)構(gòu)MobilenetV1和MobilenetV2,在 ImageNet 任務(wù)上通過使用幾種不同的量化算法進(jìn)行了實(shí)驗(yàn)。結(jié)果顯示精度隨著位寬減少而下降。
在位寬低于 4 時(shí)精度下降顯著。賽靈思也使用 Williams 等介紹的 Roofline 模型,分析不同位寬下的硬件性能,以賽靈思 ZCU102 評估板為例,隨著 MAC 的精度降低,硬件成本降低,性能得到提高。
低比特量化可通過降低存儲器需求提高性能。這在 ResNet-50 神經(jīng)網(wǎng)絡(luò)的卷積運(yùn)算強(qiáng)度上得到證實(shí)。該網(wǎng)絡(luò)分別用 8 位精度和 4 位精度進(jìn)行了運(yùn)算。INT4 在模型精度和硬件性能之間實(shí)現(xiàn)了最佳權(quán)衡。
應(yīng)用程序本身的秘密性和完整性方面,在芯片啟動(dòng)專題中有詳細(xì)的介紹,即芯片可以啟動(dòng)經(jīng)過國密SM4或國際AES算法加密后的二進(jìn)制應(yīng)用程序,可防止應(yīng)用程序被非法竊取后進(jìn)反匯編破譯。在實(shí)際應(yīng)用中,還可以通過多種加密手段組合及其它防護(hù)手段的結(jié)合使用,來進(jìn)一步增強(qiáng)數(shù)據(jù)的安全級別。
在碼靈半導(dǎo)體CFW32C7UL系列芯片中,我們主要針對的是應(yīng)用程序知識產(chǎn)權(quán)的安全保護(hù)。因?yàn)楝F(xiàn)實(shí)中,總有一些不法廠商通過直接復(fù)制盜取其它廠家的設(shè)備(直接復(fù)制PCB板、設(shè)備元件及可執(zhí)行程序),以短期獲取暴利,嚴(yán)重?cái)_亂行業(yè)市場秩序,給設(shè)備原廠的生產(chǎn)經(jīng)營造成極大的不良影響。因硬件防復(fù)制比較困難,目前行業(yè)內(nèi)為防止設(shè)備被復(fù)制,常通采用保護(hù)設(shè)備的可執(zhí)行程來完成產(chǎn)品防復(fù)制,這包括前面提到的防止程序的反編譯和防止程序直接使用。
數(shù)據(jù)秘密性方面,通過前幾期的國密算法和國際標(biāo)準(zhǔn)加解密算法介紹中對數(shù)據(jù)加解密應(yīng)用的闡述,我們知道通過使用這些商用密碼對數(shù)據(jù)的加密可保證數(shù)據(jù)傳輸過程中的數(shù)據(jù)私性。
熱門點(diǎn)擊
- 漏源電壓UDS與漏極電流ID反向電流
- mos管開關(guān)電路兩種MOS管的典型應(yīng)用
- 逆變器的開關(guān)器件正向直流電壓半橋逆變電路
- QTM535毫米波天線模組數(shù)據(jù)跨越隔離柵傳輸
- 單倍數(shù)據(jù)速率型SDRAM邊沿傳送數(shù)據(jù)
- 節(jié)點(diǎn)間的地電位差和通信現(xiàn)場總線模塊
- 電容疊加串聯(lián)變壓器箝位損耗增加
- SiC功率器件的IPM與電驅(qū)總成
- 諧振頻率晶體諧振器阻抗特性
- ResNet-50神經(jīng)網(wǎng)絡(luò)的卷積運(yùn)算強(qiáng)度混合
推薦技術(shù)資料
- Seeed Studio
- Seeed Studio紿我們的印象總是和繪畫脫離不了... [詳細(xì)]
- 電源管理 IC (PMIC)&
- I2C 接口和 PmBUS 以及 OTP/M
- MOSFET 和柵極驅(qū)動(dòng)器單
- 數(shù)字恒定導(dǎo)通時(shí)間控制模式(CO
- Power Management Buck/
- 反激變換器傳導(dǎo)和輻射電磁干擾分析和抑制技術(shù)
- 多媒體協(xié)處理器SM501在嵌入式系統(tǒng)中的應(yīng)用
- 基于IEEE802.11b的EPA溫度變送器
- QUICCEngine新引擎推動(dòng)IP網(wǎng)絡(luò)革新
- SoC面世八年后的產(chǎn)業(yè)機(jī)遇
- MPC8xx系列處理器的嵌入式系統(tǒng)電源設(shè)計(jì)
- dsPIC及其在交流變頻調(diào)速中的應(yīng)用研究