從 Hot Chips 32 看最新 AI 產(chǎn)品趨勢

　　Hot Chips，全球高性能芯片領(lǐng)域最負(fù)盛名的業(yè)界盛會!雖受疫情影響，本屆 Hot Chips 會議報告質(zhì)量依然非常之高，涵蓋范圍也非常之廣。在 Tutorial 部分，有來自于 Google TPU 團(tuán)隊、Cerebras、百度的機器學(xué)習(xí)訓(xùn)練專題，也有來自于 Google、IBM 等的量子計算專題。會議正式內(nèi)容分為 8 個 Section，包括服務(wù)器處理器、移動處理器、邊緣計算和傳感、GPU 和游戲架構(gòu)、FPGA 和可重構(gòu)架構(gòu)、網(wǎng)絡(luò)和分布式系統(tǒng)、機器學(xué)習(xí)訓(xùn)練，以及機器學(xué)習(xí)推理。受限于文章篇幅，本文將主要討論和機器學(xué)習(xí)相關(guān)部分的產(chǎn)品與趨勢。

　　趨勢一

　　互聯(lián)網(wǎng)公司自行開發(fā)的芯片明顯增多。百度有昆侖，阿里有含光。未來自己的客戶到底在哪里，公司出路在哪里?留給創(chuàng)業(yè)公司的空間還有多少?

　　百度是 Hot Chips 的?？停涸谥魅渭軜?gòu)師歐陽劍的帶領(lǐng)下，其基于 FPGA 開發(fā)的 Software-Defined Accelerator(SDA，軟件定義加速器)、面向于多種實際應(yīng)用的 XPU 都已經(jīng)在 Hot Chips 進(jìn)行過報告。本次百度展示了去年在三星使用 14nm 工藝流片的昆侖芯片。

　　阿里巴巴在最近幾年也在基礎(chǔ)架構(gòu)、芯片開發(fā)上投入巨大。去年阿里巴巴達(dá)摩院團(tuán)隊的張健松博士在 Hot Chips 發(fā)布了基于 FPGA 的新一代語音合成芯片 Ouroboros，今年阿里更是有兩個報告入選，其中就包括由焦陽(驕旸)領(lǐng)導(dǎo)開發(fā)的含光 800 NPU。

　　同是互聯(lián)網(wǎng)公司開發(fā)的 AI 芯片，百度昆侖和阿里含光 800 差異非常大，但各有優(yōu)勢。百度昆侖重點強調(diào)通用性，其峰值性能 256 INT8 TOPS/150W 的指標(biāo)雖然不那么突出，但是能夠支持搜索引擎、計算機視覺、NLP、語音識別等多種模型。含光 800 性能指標(biāo)非常突出，使用臺積電 12nm 工藝，實現(xiàn)了 825 INT8 TOPS/280W 的能效比，但是因為沒有外接存儲，其所能使用的模型有限，目前披露的數(shù)據(jù)基本都是針對 ResNet-50 的。

　　無論兩顆芯片的差異如何，值得注意的是，阿里與百度，包括很多互聯(lián)網(wǎng)公司都有在布局云端 AI 芯片：

　　騰訊一方面戰(zhàn)略投資了由曾在 AMD 任職多年、也曾在銳迪科(RDA)擔(dān)任 CEO 的趙立東師兄創(chuàng)立的燧原科技;而另一邊，騰訊也在悄悄招兵買馬，布局自己的 AI 芯片;

　　字節(jié)跳動極其低調(diào)地戰(zhàn)略投資了一家 AI 芯片公司，該公司也于今年初獲得了紅杉中國的 A 輪融資。至此老互聯(lián)網(wǎng)三巨頭 BAT 和新興互聯(lián)網(wǎng)公司中最大的字節(jié)跳動，都已經(jīng)有了自己的 AI 芯片嫡系部隊。而這其中任何一家自身對 AI 芯片的需求，成本和收益之比都不足以支撐一顆 7nm 芯片的開發(fā)。

　　在云端 AI 芯片市場，除了英偉達(dá)這樣的壟斷者，也有英特爾、賽靈思這樣的資深巨頭玩家加入。國內(nèi)除了上述提到的互聯(lián)網(wǎng)公司自研或關(guān)系緊密的企業(yè)之外，還有寒武紀(jì)、壁仞、登臨等企業(yè)參與到競爭之中。盡管快手、拼多多、美團(tuán)、滴滴這樣在近些年快速上升的互聯(lián)網(wǎng)企業(yè)還沒有看到公開的 AI 芯片布局，但是也不排除他們在未來通過戰(zhàn)略投資等方式進(jìn)行布局。中國云端 AI 芯片的市場正在被快速瓜分，在未來，即便存在有第三方獨立 AI 芯片企業(yè)的機會，整個市場也可能只能支撐一家這樣的公司——所有相關(guān)的企業(yè)都必須思考，未來自己的客戶到底在哪里，公司出路在哪里?

　　趨勢二

　　下一代計算技術(shù)得到更多關(guān)注。單純架構(gòu)上的變化，很難實現(xiàn)簡單、便捷、低成本。模擬計算，存內(nèi)計算，量子計算，光子計算， 誰將成為“破壞性創(chuàng)新”的源泉?

　　在2018年之后，基于傳統(tǒng)數(shù)字集成電路的 AI 芯片研發(fā)進(jìn)展開始變得緩慢，已經(jīng)很難見到特別新鮮的想法和前所未有的微架構(gòu)了。一方面，這是因為面向視覺和語音識別等領(lǐng)域的深度算法迭代幅度開始變小，沒有那么多新的問題需要去解決。另一方面，AI 芯片也無非是一個特殊領(lǐng)域的 ASIC，很多解決過往問題的思路都可以遷移過來，好的金礦也率先都被挖出來了。因此，在過去兩年，我們看到數(shù)字 AI 芯片的進(jìn)步更多是和業(yè)務(wù)結(jié)合(如互聯(lián)網(wǎng)公司造芯、特斯拉的自動駕駛芯片)，或者利用一些新的平臺型技術(shù)(如 HBM、Chiplet、Wafer-Scale Chip)，微架構(gòu)也在升級，但沒有特別突出的大變化。

　　而更本質(zhì)的問題在于，大家原本寄希望于 AI 芯片領(lǐng)域誕生“破壞性創(chuàng)新”或者“顛覆式創(chuàng)新”的機會，目前看起來很難實現(xiàn)。如圖 1 所示，破壞性創(chuàng)新是指一種簡單、便捷、成本低的新型技術(shù)，雖然早期達(dá)不到客戶需求的性能，但其會逐步提升，直到滿足客戶需求、形成對傳統(tǒng)技術(shù)的顛覆。而芯片領(lǐng)域，流片成本越來越高，在 7nm 節(jié)點達(dá)到了 1 億美金以上，如果沒有大量訂單支撐攤薄成本一般企業(yè)根本無法承受。因此，在 AI 芯片領(lǐng)域變成了：公司越大，芯片賣得越多，芯片越便宜。單純架構(gòu)上的變化，很難實現(xiàn)簡單、便捷、低成本，難以成為“破壞性創(chuàng)新”的源泉。

　　在這種情況下，越來越多的新技術(shù)路線得到關(guān)注，比如模擬計算，存內(nèi)計算(in-memory computing)，光計算等等。在去年的 Hot Chips，來自于一家法國創(chuàng)業(yè)公司 Upmem 和普林斯頓大學(xué)賈弘洋博士的兩篇存內(nèi)計算報告被錄用就是有力的佐證。

　　本次 Hot Chips 的 Tutorial 選擇了一條未來極其重要的計算路線：量子計算。4 個報告其中有兩個來自于去年實現(xiàn)了“量子霸權(quán)(Quantum Supremacy)”的 Google 量子計算團(tuán)隊，還有兩個報告分別來自 IBM 團(tuán)隊和 Intel 團(tuán)隊。但盡管量子計算得到很大的關(guān)注，但距離實用還非常遙遠(yuǎn)，個人認(rèn)為至少在 10 年以上。如圖 2，來自于 Intel 量子計算團(tuán)隊的 James S. Clarke 所言，實現(xiàn)了 50 個 qubit，只是完成了概念驗證，未來要實現(xiàn)商用，如進(jìn)行密碼破解，需要實現(xiàn)超過 100 萬個 qubit，這里還有很長的路要走。

　　孵化自 MIT 的 Lightmatter 團(tuán)隊介紹的光子計算方案，相比而言更加接近實用。利用一種 MEMS 工藝制造的 Mach Zehnder 干涉儀(簡稱 MZI)，光子計算將傳統(tǒng)的乘法轉(zhuǎn)化為光路的相位調(diào)制與干涉，可以在幾乎不耗能的情況下完成計算。但是，MZI 本來還是會對信號有一定的損耗，因為如果光路經(jīng)過多個級聯(lián)的 MZI，光路損耗的程度可能使得最終結(jié)果出錯，也因此沒法做到特別大的計算陣列。同時，光子計算還存在的一個問題是，仍然需要去解決 memory wall，因為 MZI 只是代替了乘法器。

　　值得一提的是，MIT 光子計算團(tuán)隊實際上孵化了兩家創(chuàng)業(yè)企業(yè)，除了 Lightmatter，還有其中的華人團(tuán)隊創(chuàng)立的 Lightelligence(也被稱為 LightAI，曦智科技)。在這里也希望 Lightelligence 能夠越做越好。

　　趨勢三

　　Keynote 再次回到 AI 算法與應(yīng)用。AI 開始進(jìn)入大規(guī)模應(yīng)用的下一步究竟是什么，機器人，AR，亦或是腦機接口?

　　Hot Chips 作為芯片行業(yè)最巔峰的盛會，其 Keynote 的選擇，也代表了行業(yè)里大家當(dāng)前最關(guān)注的方向。

　　2017 年的 Hot Chips，Google 著名的架構(gòu)師，有諸多傳奇和段子的“程序員之神”Jeff Dean，在大會做了“Recent Advances in Artificial Intelligence via Machine Learning and the Implications for Computer System Design (基于機器學(xué)習(xí)的人工智能最新進(jìn)展及其對計算機系統(tǒng)設(shè)計的影響)”，足夠說明 AI 真正地進(jìn)入了主流應(yīng)用，大家都開始關(guān)注 AI 最新的進(jìn)展以及如何去針對性進(jìn)行系統(tǒng)設(shè)計。

　　2018 到 2019 年的幾個 Keynote 都和 AI 沒有什么關(guān)系。2018年芯片行業(yè)重大的新聞是 Intel CPU 被發(fā)現(xiàn)了 Spectre 和 Meltdown 兩個重大的漏洞，因此 Keynote 邀請了 John Hennessy 教授專門講解兩個漏洞以及處理器的安全性問題;同年，賽靈思新任總裁兼 CEO Victor Peng 就任，推出了 ACAP (Adaptive Computing Acceleration Platform， 自適應(yīng)計算加速平臺) 架構(gòu)，也受到極大關(guān)注，因此也受邀到大會做 Keynote。2019 年，大家最關(guān)心的問題是摩爾定律是否還能延續(xù)，也因此邀請了 AMD CEO Lisa Su 與斯坦福大學(xué)教授、時任臺積電研究 VP 的黃漢森教授分別介紹他們的觀點。

　　今年的 Keynote，Hot Chips 邀請了 DeepMind 的杰出工程師 Dan Belov 做了題為”AI Research at Scale - Opportunities on the Road Ahead ( 大規(guī)模的人工智能研究——未來的機遇 )”的報告，為大家介紹未來 AI 研究可能帶來的新機會。Dan Belov 的報告，完全沒有提計算機視覺、語音識別等已經(jīng)進(jìn)入規(guī)模應(yīng)用階段的算法，而重點給大家介紹了強化學(xué)習(xí)及其在機器人領(lǐng)域、圍棋、圖形學(xué)等領(lǐng)域應(yīng)用的進(jìn)展。Dan 指出，從 2012 年的 AlexNet 到現(xiàn)在，算法效率提升了 44 倍(即達(dá)到同樣精度的計算量)，而算法的總計算量規(guī)模提升了 30 萬倍，我們還有很多工作要做才能填補這近 10000 倍的差距，因此我們還需要關(guān)注全系統(tǒng)設(shè)計、考慮經(jīng)濟(jì)性問題、在軟件架構(gòu)領(lǐng)域應(yīng)用更多機器學(xué)習(xí)的最新技術(shù)。

　　回到一個更本質(zhì)的問題，如黃漢森教授在去年的 Hot Chips Keynote 中所說，半導(dǎo)體技術(shù)的發(fā)展很大程度上由重要的應(yīng)用驅(qū)動，因為我們需要去理解和預(yù)測未來的新應(yīng)用——這也是為什么會邀請做算法的企業(yè) DeepMind 來一個芯片的行業(yè)峰會做 Keynote 的原因。從 20 世紀(jì) 40 年代的無線電，到 70 年代的計算機，到 90 年代的 PC 和互聯(lián)網(wǎng)，到 21 世紀(jì)前 20 年的手機與移動設(shè)備，再在現(xiàn)在這個時間點，移動的市場趨于飽和，AI 開始進(jìn)入大規(guī)模應(yīng)用，理所當(dāng)然大家也都在思考，下一步究竟是什么?是機器人，是 AR，亦或是腦機接口?

　　結(jié)語

　　AI 芯片不是技術(shù)游戲。

　　對于這類平臺，一方連接的是供給方，一方連接的是需求方，當(dāng)經(jīng)過發(fā)展，供需雙方的數(shù)量達(dá)到了一定的臨界值之后，平臺就不需要再付出特別大的成本而可以獲得用戶規(guī)模的自然增長，如圖4所示。平臺幾乎可以說是模式最牢固、收益最高的商業(yè)模型了，如大家熟知的淘寶、微信、大眾點評、美團(tuán)外賣、拼多多、抖音、快手，都是這一類。

　　而對于 AI 芯片，大家總是討論技術(shù)，但實際上要做的遠(yuǎn)遠(yuǎn)不止技術(shù)。當(dāng)有了足夠多的開源項目，在用戶初次接觸 AI 芯片時，就有更高的幾率使用你的芯片，而之后他又可能繼續(xù)貢獻(xiàn)更多的開源項目，實現(xiàn)正循環(huán)。也因為此，賽靈思越來越重視軟件生態(tài)，越來越重視開發(fā)者，推出了 Vitis 這樣面向所有類型開發(fā)者的軟件平臺，并且把開發(fā)者生態(tài)作為重點領(lǐng)域持續(xù)推進(jìn)。