邊緣AI芯片是指在邊緣設備上（而不是在遠程數據中心）執(zhí)行或加速機器學習任務的部分或完整芯片。據德勤（Deloitte）預測，到2020年，邊緣AI芯片出貨量將超過7.5億顆，銷售金額將達到26億美元，而且邊緣AI芯片的增長將遠快于整體芯片市場。到2024年，預計邊緣AI芯片的出貨量可能超過15億顆。這表示其復合年增長率至少為20%，是整個半導體行業(yè)增長預測（9%CAGR）的兩倍多。
圖1：AI可以嵌入的位置（圖片來源：Deloitte Insights）
這些邊緣AI芯片可能會嵌入到越來越多的消費類設備中，例如高端智能手機、平板電腦、智能音箱和可穿戴設備等。它們還將在多種企業(yè)市場中得到應用，例如機器人、攝像頭、傳感器和其它物聯網設備。消費類邊緣AI芯片市場將遠大于企業(yè)市場，但增長速度可能會較慢，預計2020年至2024年之間，其復合年增長率為18%。而企業(yè)級邊緣AI芯片市場的增長速度更快，預計同期的復合年增長率為50%。
圖2:邊緣AI芯片市場(圖片來源:Deloitte Insights)
盡管如此，無論從出貨量還是銷售金額來看，今年消費類設備市場都將占邊緣AI芯片市場的90%以上。這些邊緣AI芯片中的絕大部分將用于高端智能手機，這一市場占目前使用的所有消費類邊緣AI芯片的70%以上。實際上，不僅是2020年，在未來幾年，AI芯片的增長將主要由智能手機推動。我們相信在今年預期出售的15.6億部智能手機中，超過三分之一都可能包含邊緣AI芯片。
由于對處理器的要求非常高，AI計算歷來幾乎全部在數據中心、企業(yè)核心設備或電信邊緣處理器上遠程執(zhí)行，而不是在終端設備本地上執(zhí)行。現在，邊緣AI芯片正在改變這一切。它們物理尺寸更小，相對便宜，功耗更小，產生的熱量也更少，因而可以集成到手持設備以及非消費類設備（如機器人）中。邊緣AI芯片可讓終端設備能夠在本地執(zhí)行密集型AI計算，減少甚至消除了將大量數據發(fā)送到遠端位置的需求，因此在可用性、速度、數據安全性和隱私性方面益處良多。
從隱私和安全性方面來看，在邊緣設備上處理數據顯然更安全；個人信息不離開手機就不會被攔截或濫用。而當邊緣AI芯片安裝在手機上時，即使未連接到網絡，它也可以完成所有處理。
當然，并非所有AI計算都必須在本地進行。對于某些應用，例如，當設備上的邊緣AI芯片無法處理太多數據時，發(fā)送數據給遠端AI陣列來處理是適當的，甚至是首選方案。實際上，多數情況下，AI將以混合模式完成：一部分在設備端實現，一部分在云端實現。具體情況下應該選擇什么樣的混合方式，要看需要完成的AI處理類型。
智能手機邊緣AI經濟學
并非只有智能手機使用邊緣AI芯片；其它設備諸如平板電腦、可穿戴設備、智能音箱等也會采用AI芯片。短期內，其它設備對邊緣AI芯片銷售的影響可能會比智能手機小得多，原因是要么這類市場沒有什么增長（如平板電腦），要么這類市場規(guī)模太小而無法產生實質性的影響。例如，智能音箱和可穿戴設備市場總銷量預計2020年僅為1.25億部。不過，許多可穿戴設備和智能音箱都依賴邊緣AI芯片，因此其普及率已經很高。
目前，只有價格最昂貴的智能手機（處于價格區(qū)間頂部）才可能內置邊緣AI芯片。但是，帶有AI芯片的智能手機并不一定要價格昂貴到讓消費者望而卻步。
我們可以對智能手機的邊緣AI芯片占比進行合理的估算。現今，三星、蘋果和華為的手機處理器圖片均顯示出裸片及所有功能特性，因此可以識別出芯片的哪些部分用于哪些功能。例如，三星Exynos 9820芯片的照片顯示，其芯片總面積的大約5%專用于AI處理器。整個SoC應用處理器的成本估計為70.50美元，僅次于顯示屏，是手機中第二昂貴的器件，約占設備總物料成本的17%。假設AI部分的成本與裸片上的其它部分一樣，即跟所占裸片面積成正比。那么，Exynos的邊緣AI神經處理單元（NPU）大約占裸片總成本的5%，相當于每個NPU約$3.50美元。
圖3：三星Exynos 9820芯片的裸片曝光顯示，大約5%的面積專用于AI處理器。（圖片來源：ChipRebel；注釋：AnandTech）
同樣，在蘋果的A12仿生芯片上，專用于機器學習的部分約占裸片總面積的7%。如果整個處理器的成本為72美元，那么邊緣AI部分的成本約為5.10美元。華為麒麟970芯片的成本估計為52.50美元，其中2.1％用于NPU，則這部分成本應為1.10美元。（當然，裸片面積并不是衡量芯片總成本中有多少用于AI的唯一方法。據華為稱，麒麟970的NPU包含1.5億個晶體管，占整個芯片55億個晶體管總數的2.7%。若按這樣計算，NPU的成本將有所提高，即1.42美元）。
圖4：蘋果的A12仿生芯片專用于機器學習的部分約占總裸片面積的7%。（圖片來源：TechInsights/AnandTech）
盡管這里所提到的成本差別很大，但可以合理假設NPU的平均成本約為每芯片3.50美元。雖然每顆芯片的價格不高，但考慮到五億的智能手機出貨量（還不包括平板電腦、智能音箱和可穿戴設備），這仍然是一個很大的市場。制造商的平均成本為3.50美元，最低可能僅1美元，因此，在智能手機芯片中添加專用的邊緣AI NPU是很自然的事。按照正常的利潤加價幅度，制造成本增加1美元，對最終消費者而言也僅增加2美元。這意味著即使是價格低于250美元的智能手機，也可以擁有NPU及其帶來的益處，如更好的攝像頭、離線語音助手等，而價格漲幅也不過1%。
AI芯片的采購：自研還是第三方？
生產智能手機和其它設備的廠商獲取邊緣AI芯片的方式各不相同，這主要取決于手機型號，甚至地理位置等因素。有些公司從高通和聯發(fā)科等第三方供應商那里購買應用處理器/調制解調器芯片。這兩家公司在2018年合計占據了智能手機SoC市場約60%的份額。
高通和聯發(fā)科提供了一系列不同價位的SoC。盡管并非所有都包含邊緣AI芯片，但高端型號通常都有，比如高通的曉龍845和855，以及聯發(fā)科的Helio P60。而在另一極端，蘋果則完全不使用第三方AP芯片，蘋果設計并使用自己的SoC處理器，如A11、A12和A13仿生芯片，所有這些芯片均內嵌邊緣AI功能。
其它手機制造商，例如三星和華為，則采用混合策略，即從市場上的芯片供應商那里購買一些SoC，其余部分則使用他們自己研發(fā)的芯片，例如三星的Exynos 9820和華為的麒麟970/980。
超過50家AI加速芯片公司在爭奪企業(yè)與工業(yè)領域的邊緣AI市場
如果在智能手機和其它設備中采用邊緣AI處理器益處很多，那為什么不將它們用于企業(yè)應用呢？實際上，邊緣AI處理器已經有一些企業(yè)用例了，例如某些自主無人機。配備了智能手機SoC應用處理器的無人機能夠完全在設備端進行實時導航和避障，而無需網絡連接。
但是，針對智能手機或平板電腦優(yōu)化的芯片并不是許多企業(yè)或工業(yè)應用的正確選擇。如前所述，智能手機SoC的邊緣AI部分僅占總面積的5%，約占總成本的3.50美元，并且比整個SoC的能耗低約95%。這樣，如果開發(fā)出只有邊緣AI功能（加上其它一些必要功能，例如內存）的芯片，它的成本會更低、功耗更少且體積更小，這豈不更好？
事實上，已經有這樣的芯片了。據說，有多達50家不同的公司正在開發(fā)各種各樣的AI加速芯片。2019年就已經有獨立的邊緣AI芯片面向開發(fā)人員供應，可以單獨購買，價格約為80美元。如果生產量達到百萬級別的話，設備制造商的購買成本會大大降低，有些甚至低至1美元（甚至可能更低），而有些要幾十美元?，F在，我們以智能手機邊緣AI芯片作為參考標準，假設邊緣AI芯片的平均成本約為3.50美元。
除了相對便宜之外，獨立的邊緣AI處理器還具有體積小的優(yōu)勢，而且功耗也相對較低，僅為1到10W之間。相比之下，一個由16個GPU和兩個CPU組成的數據中心集群功能非常強大，但成本也十分昂貴，高達40萬美元，重350磅，耗電要10千瓦。
鑒于目前的情形，邊緣AI可以為企業(yè)帶來更多新的可能性，尤其是在物聯網應用方面。通過使用邊緣AI芯片，企業(yè)可以極大地提高在設備端的數據分析能力（而不僅僅從聯網設備端收集數據），并能夠將分析結果轉化為行動，從而避免了將海量數據發(fā)送到云端造成的成本、復雜性和安全性方面的挑戰(zhàn)。AI芯片可以幫助解決的問題包括：
數據安全和隱私
不管企業(yè)如何謹慎地保護數據，收集、存儲并將數據傳送到云端都會不可避免地使企業(yè)面臨網絡安全和隱私威脅。隨著時間的推移，應對這一風險變得至關重要。有關識別個人身份信息的法規(guī)在各個國家和地區(qū)不斷出臺，消費者也逐漸意識到企業(yè)正在收集他們的各種數據，而80%的消費者都表示，他們認為企業(yè)沒有盡力保護消費者隱私。諸如智能音箱之類的設備開始在醫(yī)院等場合廣泛使用，這些場合對患者隱私的管理十分嚴格。
邊緣AI芯片可在本地處理大量的數據，降低了個人或企業(yè)數據被攔截或濫用的可能性。例如，具有機器學習處理能力的安全攝像頭可以通過分析視頻來確定視頻的哪些部分相關，并只將這部分視頻發(fā)送到云端，從而降低隱私泄漏的風險。機器學習芯片還可以識別更廣泛的語音命令，從而減少需要在云端分析的音頻。而準確的語音識別功能還可以幫助智能音箱更準確地識別出“喚醒詞”，從而防止“聽到”不相關的對話。
弱連接性
設備必須聯網，其數據才能在云端處理。但是，在某些情況下，設備聯網是不切實際的，無人機就是個很好的例子。無人機的操作位置決定了維持其聯網可能很困難，而且聯網本身以及將數據上傳到云端都會縮短電池壽命。在澳大利亞新南威爾士州，裝配有嵌入式機器學習功能的無人機可以巡邏海灘，以確保游泳者的安全。無需互聯網連接，這些無人機就可以識別出被海浪卷走的游泳者，或者在鯊魚和鱷魚襲擊來臨前警告游泳者。
太大的數據
物聯網設備會生成大量的數據。例如，一架空客A-350噴氣式飛機擁有6,000多個傳感器，每天的飛行將產生2.5 TB的數據。在全球范圍內，安全攝像頭每天生成的數據約有2500 PB。將所有這些數據發(fā)送到云端進行存儲和分析的成本高昂且復雜。而將機器學習處理器放置在端點設備上（傳感器或攝像頭）則可以解決這個難題。例如，可以在攝像頭中配備視覺處理單元（VPU），VPU是一種專用于分析或預處理數字圖像的低功耗SoC處理器。借助嵌入式邊緣AI芯片，設備可以實時分析數據，只有當相關數據需要發(fā)送到云端進一步分析時才會向云端傳輸，從而大大降低了存儲和帶寬成本。
功耗制約
低功耗的機器學習芯片甚至可以在小型電池供電的設備上執(zhí)行AI計算，而不會消耗過多功率。例如，Arm芯片可以嵌入到呼吸機中來分析數據，比如吸入肺活量和進入肺部的藥物流。在呼吸機上進行AI分析，然后將結果發(fā)送到智能手機上的APP，這樣就可以幫助醫(yī)療保健專家為哮喘患者提供個性化護理。除了現在已有的低功率邊緣AI NPU外，很多公司還致力于開發(fā)“微型機器學習”：在微控制器單元之類的器件上實現深度學習。例如，谷歌正在開發(fā)一個TensorFlow Lite版本，可以讓微控制器分析數據，并將需要發(fā)送到芯片外的數據壓縮為只有幾個字節(jié)大小。
低延遲需求
無論是通過有線網絡還是無線網絡，在遠程數據中心執(zhí)行AI計算都意味著存在往返延遲，最佳情況下延遲為1到2毫秒，最差情況下為幾十甚至幾百毫秒。而使用邊緣AI芯片在設備端執(zhí)行AI可以將這個延遲減少到納秒級別，這對于那些需要收集和處理數據并即刻采取行動的應用場景至關重要。例如，自動駕駛汽車必須通過計算機視覺系統(tǒng)收集并處理大量數據以識別物體，同時收集和處理來自傳感器的數據以控制汽車各種功能。然后，他們必須立即根據這些數據做出決策，例如何時轉彎、制動或加速，以實現安全的操作。為此，自動駕駛汽車必須自己處理在車輛中收集的海量數據。低延遲對機器人應用也很重要。隨著機器人逐漸走出工廠環(huán)境，而開始與人類協(xié)同工作，低延遲將變得越來越重要。
結論：邊緣AI對海量數據應用至關重要
邊緣AI芯片的普及將可能給消費者和企業(yè)帶來重大變化。對消費者而言，邊緣AI芯片可以實現多種功能，從解鎖手機到與語音助手對話，甚至在極端困難的條件下拍攝出令人驚嘆的照片。這些，都無需互聯網連接。
但從長遠來看，邊緣AI芯片對企業(yè)應用的影響可能更大，它們將把企業(yè)的物聯網應用提升到一個全新的水平。由AI芯片推動的智能設備將有助于擴展現有市場，沖擊現有企業(yè)，同時改變制造、建筑、物流、農業(yè)和能源等行業(yè)的價值分配方式。收集、理解并立即根據大量數據采取行動的能力對于依賴大數據的應用將變得至關重要，而未來學家們預測，未來這類應用將遍地開花，包括視頻監(jiān)控、虛擬現實、無人機和車輛等。
未來，很大程度上將取決于邊緣AI芯片如何讓設備更加智能。
