文/楊宇 Achronix資深現(xiàn)場應(yīng)用工程師
隨著機器學習（Machine Learning）領(lǐng)域越來越多地使用現(xiàn)場可編程門陣列（FPGA）來進行推理（inference）加速，而傳統(tǒng)FPGA只支持定點運算的瓶頸越發(fā)凸顯。 Achronix為了解決這一大困境，創(chuàng)新地設(shè)計了機器學習處理器（MLP）單元，不僅支持浮點的乘加運算，還可以支持對多種定浮點數(shù)格式進行拆分。
MLP全稱Machine Learning Processing單元，是由一組至多32個乘法器的陣列，以及一個加法樹、累加器、還有四舍五入rounding/飽和saturation/歸一化normalize功能塊。同時還包括2個緩存，分別是一個BRAM72k和LRAM2k，用于獨立或結(jié)合乘法器使用。MLP支持定點模式和浮點模式。
考慮到運算能耗和準確度的折衷，目前機器學習引擎中最常使用的運算格式是FP16和INT8，而Tensor Flow支持的BF16則是通過降低精度，來獲得更大數(shù)值空間。下面的表1是MLP支持的最大位寬的浮點格式，表2說明了各自的取值范圍。
而且這似乎也成為未來的一種趨勢。目前已經(jīng)有不少研究表明，更小位寬的浮點或整型可以在保證正確率的同時，還可以減少大量的計算量。因此，為了順應(yīng)這一潮流，MLP還支持將大位寬乘法單元拆分成多個小位寬乘法，包括整數(shù)和浮點數(shù)。詳見下表3。
值得注意的是，這里的bfloat16即Brain Float格式，而block float為塊浮點算法，即當應(yīng)用Block Float16及更低位寬塊浮點格式時，指數(shù)位寬不變，小數(shù)位縮減到了16bit以內(nèi)，因此浮點加法位寬變小，并且不需要使用浮點乘法單元，而是整數(shù)乘法和加法樹即可，MLP的架構(gòu)可以使這些格式下的算力倍增。
表3是Speedster7t系列1500器件所支持的典型格式下的算力對比，可以看到，單片F(xiàn)PGA的浮點算力最高可達到123TOPS。
下圖3是MLP中FP24/FP16乘加單元的簡化結(jié)構(gòu)圖，即一個MLP支持FP24/FP16的A*B+C*D，或者A*B，C*D。
而以下的圖4則是塊浮點乘加單元結(jié)構(gòu)。
這里考慮浮點數(shù)序列塊，浮點數(shù)序列塊，各序列塊內(nèi)均擁有相同的指數(shù)ea和eb。則
不難看出，乘法單元的個數(shù)取決于尾數(shù)（即整數(shù)）位寬。
您可能也喜歡這些文章
a&s傳媒是全球知名展覽公司法蘭克福展覽集團旗下的專業(yè)媒體平臺，自1994年品牌成立以來，一直專注于安全&自動化產(chǎn)業(yè)前沿產(chǎn)品、技術(shù)及市場趨勢的專業(yè)媒體傳播和品牌服務(wù)。從安全管理到產(chǎn)業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國際行業(yè)展覽會資源以及豐富的媒體經(jīng)驗，提供媒體、活動、展會等整合營銷服務(wù)。
粵公網(wǎng)安備 44030402000264號
