2020年開始，國家提出加快新基建進度，作為其中重要的一環(huán)：人工智能的體量將會進一步增長。當前技術(shù)結(jié)構(gòu)下，人工智能（AI）的處理大多通過云中心完成。
AI處理以深度學(xué)習(xí)模型訓(xùn)練為主，這需要大量的計算能力。而在過去幾年里，計算的需求量增加了數(shù)十萬倍，其中圖形處理單元（GPU）分散了大部分計算壓力。
AI推理是基于大量推理訓(xùn)練之后實現(xiàn)的，計算強度相對較低，對算力需求不大。過去，與訓(xùn)練一樣，推理計算也主要在云中心進行。然而，AI應(yīng)用的多樣化，基于云的集中式訓(xùn)練和推理機制受到質(zhì)疑。
什么是邊緣AI？
邊緣AI已將AI轉(zhuǎn)移到真正需要的地方：設(shè)備中，而不是云中的服務(wù)器。
任何基于機器學(xué)習(xí)的解決方案，兩個主要階段是訓(xùn)練和推理，這是機器學(xué)習(xí)的基本原則。
第一階段是訓(xùn)練，在這個階段中，向機器提供大量的已知數(shù)據(jù)，讓機器“明白”它應(yīng)該做什么。利用這些數(shù)據(jù)，算法可以輸出一個包含其學(xué)習(xí)結(jié)果的"模型"。這個階段需要很高的算力，通常由云計算完成。
訓(xùn)練階段的"已知數(shù)據(jù)"被稱為標記數(shù)據(jù)。這意味著每一個數(shù)據(jù)（聲音、圖像等）都有一個標簽，描述它的含義。推理時將新數(shù)據(jù)中符合的內(nèi)容挑出來，分門別類即可。
第二個階段是推理，推理是將學(xué)到的模型與新數(shù)據(jù)結(jié)合起來，推斷它應(yīng)該識別什么。一旦訓(xùn)練完成，模型只需要小部分算力來執(zhí)行推理階段。因為推理只涉及少量新數(shù)據(jù)的計算，用于推理的模型也是"固定"的（不需要再持續(xù)訓(xùn)練），并針對目標環(huán)境進行了仔細的優(yōu)化。
最終的結(jié)果是，它可以直接在嵌入式設(shè)備上運行：也就是邊緣設(shè)備。這樣可以為設(shè)備提供決策權(quán)，從而使其自主運作，這就是邊緣AI。
為什么我們需要邊緣AI？
今天的邊緣AI側(cè)重于將AI推理轉(zhuǎn)移到邊緣設(shè)備上，從而減少數(shù)據(jù)的上傳與擴散。當然，將AI應(yīng)用遷移到邊緣設(shè)備的原因有很多，這取決于應(yīng)用。在評估云計算和邊緣計算時，必須考慮隱私、安全、成本、延時和帶寬。隨著越來越多的邊緣計算芯片廠家提供了高算力的產(chǎn)品，也促進了邊緣AI計算的發(fā)展。
聯(lián)合學(xué)習(xí)和基于區(qū)塊鏈的分散架構(gòu)也是AI計算向邊緣化過渡的一部分，有些訓(xùn)練也可能向邊緣化發(fā)展。根據(jù)AI應(yīng)用和設(shè)備類別，有幾種硬件選擇來執(zhí)行邊緣AI計算。這些選擇包括CPU、GPU、ASIC、FPGA和SoC加速器。
邊緣AI的硬件挑戰(zhàn)：芯片
像許多新概念一樣，邊緣AI技術(shù)其實已經(jīng)存在了一段時間：機器學(xué)習(xí)算法在計算機和智能手機中很常見，它們在這些設(shè)備中運行良好。
如今，人們將嵌入式設(shè)備與算法結(jié)合起來，形成一個很有意義的解決方案，這要歸功于：為AI提供硬件加速的高算力模塊（GPU和ASIC）。
通過算力模塊，配合不斷改進的AI模型，我們不僅可以在超級計算機中整合AI解決方案，還可以在汽車、智能手機、網(wǎng)頁、Wi-Fi路由器，甚至家庭安全系統(tǒng)中整合AI。
如何將推理功能嵌入設(shè)備？
首先我們要選對適合的硬件，目前有三種硬件類型可以實現(xiàn)邊緣AI的運行：
CPU：在智能手機和嵌入式設(shè)備上，任何最新的CPU都有能力處理。它可能不是邊緣AI推理最快或最專業(yè)的解決方案，但它是最好實現(xiàn)的。
GPU：它們通常確實能提供高吞吐量，從而提供出色的推理頻率和較低的延時。它還可以減少CPU的工作負荷，是目前比較主流的選擇。
利用GPU的處理能力和并行化能力，AI就像一個由數(shù)百個神經(jīng)元的虛擬大腦，它看起來非常復(fù)雜，但實際上是由大量的簡單元素組成的。這正好與GPU的特性不謀而合，簡單的獨立操作被應(yīng)用于屏幕上的每一個點。
大多數(shù)機器學(xué)習(xí)框架（TensorFlow、Caffe、AML等）都是為了適用現(xiàn)有的硬件，比如NVIDIA Jetson系列。
AI定制硬件：這是一個快速增長的類型，如谷歌之前發(fā)布的Edge TPU，英特爾、微軟和亞馬遜也在開發(fā)自己的解決方案。通過定制硬件為AI推理匹配最有效的解決方案，但昂貴的成本和設(shè)計壓力則是當前的弊端。
選擇邊緣AI進行創(chuàng)新的5個理由
1）離線可用性：這可能是最明顯的理由。如果需要程序在任何條件的連接狀態(tài)下都可用，那么AI推理必須放在本地設(shè)備上。
由于不穩(wěn)定的遠程數(shù)據(jù)連接，DDoS攻擊，或者設(shè)備在地下室使用，連接就會中斷！網(wǎng)絡(luò)不穩(wěn)定對于云方案是一個巨大的挑戰(zhàn)。然而，如果本地設(shè)備可以自己處理數(shù)據(jù)，就不需要擔心這些問題。
2）降低云服務(wù)成本：云服務(wù)非常方便，具有高擴展性和可用性，但它也有比較顯著和持續(xù)的成本。隨著越來越多的人使用云計算，這種成本會增加。這些成本將持續(xù)到產(chǎn)品的整個生命周期。然而，如果可以采用本地設(shè)備進行AI推理，那么你就可以節(jié)約這部分成本。
3）降低流量成本：帶寬和移動流量的成本也很昂貴。對于視頻監(jiān)控推理而言，一個高清攝像頭每天就能產(chǎn)生50G甚至更多的視頻數(shù)據(jù)，一個項目可能有成百上千個攝像頭，每天按T計算的云服務(wù)流量成本是筆不小的費用。
而使用邊緣AI推理，在本地設(shè)備上可以將體積龐大的視頻文件轉(zhuǎn)換為幾kB的數(shù)據(jù)。比如道路監(jiān)控，云計算需要將現(xiàn)場視頻持續(xù)上傳分析，而邊緣設(shè)備只需要回傳一句話：“這條路上現(xiàn)在沒有人”。
4）處理敏感信息：如果敏感信息可以在本地被收集和處理，我們還需要把信息發(fā)到幾百公里外的云中心去么？雖然我們不應(yīng)該擔心云中心的數(shù)據(jù)安全問題，但本地處理確實能讓人更放心。
5）響應(yīng)時間短：在本地收集和處理數(shù)據(jù)可以縮短響應(yīng)時間，規(guī)避網(wǎng)絡(luò)延遲的風險，從而改善用戶體驗，只要設(shè)備能足夠快地處理數(shù)據(jù)。比如工業(yè)制造時，需要毫秒級的推理判斷，來決定是否緊急停止生產(chǎn)線來避免事故的發(fā)生。
邊緣AI帶來新的機會
邊緣AI的高可用性、數(shù)據(jù)安全性、降低延遲和成本，都是未來AI系統(tǒng)的關(guān)鍵優(yōu)勢。無論是公司還是個人，現(xiàn)在都是采取行動的好時機，越來越多的科技公司開始布局邊緣計算。
雖然有些人認為它還不成熟，但該技術(shù)正在融合發(fā)展，不斷進行實驗和概念驗證，在全球范圍內(nèi)提高競爭優(yōu)勢。
隨著國家對新基建的推動，AI和IoT（物聯(lián)網(wǎng)）的指數(shù)級增長，邊緣AI的時代即將到來。
