本文來自微信公眾號(hào)“與非網(wǎng)eefocus”，作者/張慧娟。
機(jī)器視覺作為機(jī)器人賽道的核心應(yīng)用之一，成長(zhǎng)潛力持續(xù)發(fā)酵。結(jié)合光學(xué)裝置和傳感器的機(jī)器視覺系統(tǒng)，能夠自動(dòng)接收和處理真實(shí)物體圖像，獲得所需信息或控制機(jī)器人運(yùn)動(dòng)。其核心芯片包括AI芯片、圖像傳感器、存儲(chǔ)器、處理器和通信芯片等，這些芯片協(xié)同實(shí)現(xiàn)了機(jī)器人視覺的功能和應(yīng)用。
機(jī)器視覺涵蓋AI、計(jì)算機(jī)科學(xué)、圖像處理、模式識(shí)別等諸多領(lǐng)域技術(shù)，擁有精度高、速度快、可靠性高等優(yōu)勢(shì)。在機(jī)器視覺應(yīng)用領(lǐng)域，核心芯片以國(guó)外品牌為主，國(guó)內(nèi)芯片仍處于發(fā)展初期階段，不過據(jù)<與非網(wǎng)>調(diào)研，隨著機(jī)器人市場(chǎng)的不斷發(fā)展，視覺和計(jì)算技術(shù)的不斷成長(zhǎng)，國(guó)產(chǎn)芯片在逐步進(jìn)入應(yīng)用階段。
3D視覺是突出趨勢(shì)
近年，機(jī)器視覺最大的趨勢(shì)來自3D視覺技術(shù)的突破，進(jìn)一步推動(dòng)視覺技術(shù)在高端機(jī)器人場(chǎng)景的應(yīng)用。不過，工業(yè)應(yīng)用中常見的拆碼垛、定位、分揀等場(chǎng)景下同質(zhì)化競(jìng)爭(zhēng)較多，3D視覺將逐步向更高階的場(chǎng)景延伸，比如焊接、檢測(cè)、裝配等場(chǎng)景，并且在機(jī)器人引導(dǎo)（例如移動(dòng)機(jī)器人+3D視覺、機(jī)械臂+3D視覺）場(chǎng)景應(yīng)用前景廣闊。
相比2D機(jī)器視覺，3D機(jī)器視覺具有顯著優(yōu)勢(shì)，例如測(cè)量速度快、精度高、抗干擾能力強(qiáng)、操作簡(jiǎn)便等，能有效解決2D機(jī)器視覺對(duì)于高度、厚度、體積、平面度等測(cè)量因素缺失的問題。不過，也正是由于比2D視覺應(yīng)用多了數(shù)據(jù)維度，3D視覺計(jì)算芯片整體數(shù)據(jù)的存儲(chǔ)、計(jì)算以及相關(guān)算法都變得更加復(fù)雜，需要具備較強(qiáng)的計(jì)算能力。
目前，國(guó)內(nèi)具有相關(guān)芯片研發(fā)能力的公司包括肇觀電子、銀牛微電子、中科融合、靈明光子、炬佑智能、元橡科技、埃瓦科技、視海芯圖等。
肇觀電子的SoC芯片NE-D163A能夠?qū)崟r(shí)輸出深度圖像，以及進(jìn)行實(shí)時(shí)計(jì)算機(jī)視覺特征處理。同時(shí)，還具備AI計(jì)算能力，在INT8和FP16精度下，D163A運(yùn)行各項(xiàng)網(wǎng)絡(luò)均可達(dá)到較高的每TOPs每秒處理幀數(shù)。
銀牛微電子的NU4100視覺AI處理器中采用了芯原的雙通道ISP IP，具備3D深度感知、AI處理和片上基于視覺的實(shí)時(shí)定位與建圖(VSLAM)，可以低功耗、低延遲地處理來自多個(gè)4K攝像頭的數(shù)據(jù)。NU4100采用了優(yōu)化的嵌入式視覺架構(gòu)，可高效整合計(jì)算機(jī)視覺引擎和深度學(xué)習(xí)(CNN)處理等一系列計(jì)算模塊。
中科融合的3D視覺解決方案主要基于兩顆自研的核心芯片：一是MEMS微振鏡芯片，據(jù)稱主要替代TI DLP芯片，成本可以降低4倍、功耗降低10倍、體積降低20倍。二是3D AI VDPU SoC芯片，主要是進(jìn)行光學(xué)數(shù)據(jù)處理和系統(tǒng)控制。通過這兩個(gè)芯片形成模組，可以在達(dá)到同類競(jìng)品相同成像效果和體驗(yàn)的情況下，實(shí)現(xiàn)功耗、成本、體積大幅度降低。
此外，3D視覺整體方案提供商奧比中光也在自研芯片，一類是深度引擎芯片，貼片在3D視覺傳感器PCB板上，實(shí)現(xiàn)3D視覺感知中最核心的深度信息的計(jì)算功能；另一類是專用感光芯片，根據(jù)3D感知成像的特殊要求，自主定義及設(shè)計(jì)芯片內(nèi)用于感光的像素微結(jié)構(gòu)、用于計(jì)算的讀出電路部分、去噪模塊，與深度引擎芯片配合，將較目前通用感光芯片大幅提升產(chǎn)品系統(tǒng)性能。
機(jī)器視覺主芯片路線豐富
機(jī)器人視覺系統(tǒng)通常需要一個(gè)強(qiáng)大的處理器來處理和執(zhí)行各種任務(wù)，如圖像處理、計(jì)算機(jī)視覺、物體識(shí)別等，其處理器可以是CPU、GPU、FPGA或其他類型的處理器。當(dāng)前。融合了AI特性和處理器功能的AI視覺芯片正在成為一大趨勢(shì)，負(fù)責(zé)處理和執(zhí)行各種機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)算法。
AI視覺主芯片可以簡(jiǎn)單區(qū)分為GPU、CPU/集成GPU、帶NPU的SoC、FPGA、以及RISC-V架構(gòu)芯片等。這些芯片分別面向不同的應(yīng)用和用戶類型，也各自呈現(xiàn)出不同的發(fā)展趨勢(shì)。
其中，基于GPU的開發(fā)板可能是許多用戶剛開始AI開發(fā)時(shí)就接觸到的，比如NVIDIA TX2或Nano，AMD的APU SoC等。這類產(chǎn)品最大的優(yōu)勢(shì)是生態(tài)完善，不論是Tensor Flow、Caffe、PyTorch或是AI庫(kù)等，運(yùn)行起來都很流暢，開發(fā)體驗(yàn)也比較好。
第二類CPU/集成GPU，主要針對(duì)中低算力需求的應(yīng)用，只需已有的CPU或是集成GPU就可以滿足。優(yōu)勢(shì)在于整體硬件成本更低，且方案成熟；缺點(diǎn)就是算力不夠大，不能支持太大的AI模型。
第三類是帶NPU的SoC，已經(jīng)越來越成為AI視覺主芯片的一大趨勢(shì)，它們將NPU與主處理器集成在一起，可滿足中高算力需求。由于是單芯片，硬件成本也適中，挑戰(zhàn)主要在于模型的量化部署方面，以及模型部署工具的成熟度，主要依賴于芯片廠商成熟的工具鏈支持。
除了這類單芯片設(shè)計(jì)，市面上還有一類神經(jīng)計(jì)算加速棒產(chǎn)品，可以通過USB插到板卡上提供運(yùn)算能力。但是這類方案需要進(jìn)行相互之間的數(shù)據(jù)傳輸，對(duì)于整體的方案設(shè)計(jì)、硬件的穩(wěn)定性等都有一定挑戰(zhàn)。
第四類基于FPGA的主控芯片，主要滿足對(duì)實(shí)時(shí)性要求較高的工業(yè)級(jí)應(yīng)用。挑戰(zhàn)在于開發(fā)難度，涉及一些自研AI加速FPGA邏輯，需要底層的加速設(shè)計(jì)和量化方案設(shè)計(jì)，以及相應(yīng)的轉(zhuǎn)換、編譯。
第五類是RISC-V架構(gòu)的芯片，近兩年得到了較大的發(fā)展。由于需要進(jìn)行圖像處理，這類芯片往往需要采用RISC-V主處理器+ISP或Arm CPU+RISC-V協(xié)處理器的異構(gòu)形式，以應(yīng)對(duì)更大的算力需求和更高的圖像處理性能。
以下是部分具有代表性的國(guó)產(chǎn)視覺處理芯片：
瑞芯微RV1109是一款高性能機(jī)器視覺處理器的SoC，基于雙核ARM Cortex-A7，集成了NEON和FPU。內(nèi)置的NPU支持INT8/INT16混合操作，計(jì)算能力可達(dá)1.2TOPs。RV1109還引入了基于硬件的5000萬(wàn)像素ISP和后處理器。實(shí)現(xiàn)了IPC和CVR中常用的加速算法。瑞芯微在投資者互動(dòng)平臺(tái)上表示，公司的芯片產(chǎn)品應(yīng)用領(lǐng)域廣泛，已應(yīng)用于多種形態(tài)的機(jī)器人產(chǎn)品，比如掃地機(jī)器人、教育機(jī)器人、服務(wù)機(jī)器人、工業(yè)/農(nóng)業(yè)機(jī)器人等。
全志科技的V853集成了新一代星光級(jí)畫質(zhì)引擎，內(nèi)置的最新一代Smart視頻編碼引擎，集成單核Cortex-A7 lGHz、RSIC-V 600MHz及最大IT算力NPU，支持16-bit DDR3/DDR3L最高速率933MHz,能夠滿足多種應(yīng)用算力及帶寬需求。
清微智能TX510是一款面向IoT設(shè)備的超低功耗視覺處理芯片，基于可重構(gòu)計(jì)算架構(gòu)，內(nèi)置3D引擎支持AlexNet、GoogleNet、ResNet、VGG等主流神經(jīng)網(wǎng)絡(luò)，可實(shí)現(xiàn)人臉識(shí)別、物體識(shí)別、手勢(shì)識(shí)別、目標(biāo)跟蹤等功能。支持3D結(jié)構(gòu)光，支持3D活體檢測(cè)、紅外活體檢測(cè)、可見光活體檢測(cè)等。
勘智K510是嘉楠公司推出的第二代AI邊緣側(cè)推理芯片，提供高性能的圖像及語(yǔ)音處理能力。K510-CORE是核心模組，板載一顆K510芯片，CPU采用雙核64bit RISC-V架構(gòu)，K510搭載自主研發(fā)的第二代神經(jīng)網(wǎng)絡(luò)處理器KPU2.0，采用計(jì)算數(shù)據(jù)流技術(shù)，算力較上一代提升3倍同時(shí)降低功耗。
AR9341集成了酷芯微電子自研的第二代HiFi-ISP技術(shù)，在2D降噪、3D降噪、HDR、去霧、邊緣增強(qiáng)等各方面水平較高，同時(shí)內(nèi)部集成紅外熱成像圖像增強(qiáng)的技術(shù)，具有更加廣泛的適應(yīng)性。集成的4K級(jí)ISP、H264/265視頻編、解碼器(9M 60fps)可保證其輸出高質(zhì)量的視頻，相比酷芯上一代的產(chǎn)品性能提升了100%。
富瀚微FH8898是全高清實(shí)時(shí)高性能智能網(wǎng)絡(luò)處理器SoC芯片，最高幅面支持4K。集成了2.0TOPS算力的高性能神經(jīng)網(wǎng)絡(luò)處理引擎，4核RISC處理器，同時(shí)集成了高性能的ISP圖像處理模塊和視頻編解碼器。芯片可外接32位寬高速DDR3和DDR4存儲(chǔ)芯片，支持USB3.0接口和其他豐富的應(yīng)用外設(shè)接口。富瀚微在投資者互動(dòng)平臺(tái)表示，公司芯片除了可應(yīng)用于高要求專業(yè)場(chǎng)景的工業(yè)機(jī)器人，更廣泛出現(xiàn)在生活場(chǎng)景：超市貨架機(jī)器人、酒店送餐機(jī)器人、家庭下棋機(jī)器人等多元化的場(chǎng)景。
國(guó)產(chǎn)芯片沖刺高端CIS
機(jī)器人視覺系統(tǒng)也對(duì)CIS提出更高要求。采用全局快門模式的CIS中，每個(gè)像素處都增加了采樣保持單元，使得所有的像素可以同時(shí)用于捕獲圖像，從而避免了在高速拍攝場(chǎng)景下因每行像素曝光時(shí)間差異而形成的“果凍效應(yīng)”。
CIS是CMOS攝像模組實(shí)現(xiàn)成像的核心元件，約占據(jù)CMOS攝像模組價(jià)值的52%。CIS的技術(shù)突破主要集中在對(duì)一定價(jià)格區(qū)間內(nèi)極致性能的追求上，如何在有限的空間和預(yù)算內(nèi)，實(shí)現(xiàn)較大的光學(xué)尺寸（由像素顆粒大小與像素?cái)?shù)目共同決定），從而實(shí)現(xiàn)優(yōu)質(zhì)的感光性能，成為了技術(shù)突破的焦點(diǎn)。由此，衍生出了Stack（堆棧）等結(jié)構(gòu)更復(fù)雜的CIS產(chǎn)品。
Gartner曾預(yù)測(cè)，CIS預(yù)計(jì)將成為第一批中國(guó)占據(jù)全球份額10%以上的半導(dǎo)體品類之一。根據(jù)Yole Intelligence發(fā)布的2022年全球CIS（CMOS圖像傳感器）行業(yè)現(xiàn)狀報(bào)告，2022年全球CIS行業(yè)收入為212.9億美元。索尼以42%市場(chǎng)份額排名第一，三星以19%份額排名第二，豪威科技(Omnivision）以11%份額排名第三，此外，國(guó)內(nèi)廠商還有格科微(Galaxycore，4%份額)、思特威（Smartsens，2%）位列前十。這些國(guó)產(chǎn)芯片廠商在中低端領(lǐng)域形成一定市場(chǎng)基礎(chǔ)后，也有望向高端應(yīng)用進(jìn)擊。
寫在最后
機(jī)器視覺被認(rèn)為是新藍(lán)海，特別是在機(jī)器人領(lǐng)域，隨著各類智能技術(shù)與機(jī)器人終端結(jié)合，將對(duì)視覺系統(tǒng)提出更多應(yīng)用需求。
3D視覺市場(chǎng)就在飛速發(fā)展，國(guó)產(chǎn)3D視覺芯片玩家的成長(zhǎng)和入局，就印證了這一趨勢(shì)。未來，3D視覺應(yīng)用或?qū)B透更多場(chǎng)景。此外，在視覺計(jì)算芯片方面，市場(chǎng)競(jìng)爭(zhēng)也將更加激烈。
未來，機(jī)器人視覺系統(tǒng)的增量主要在于機(jī)器人的落地和應(yīng)用領(lǐng)域的拓寬，不過，下游細(xì)分場(chǎng)景需求較為碎片化，需要積累、以及相應(yīng)解決方案的定制開發(fā)，導(dǎo)致新場(chǎng)景的落地速度可能慢于預(yù)期，芯片國(guó)產(chǎn)化率的提升也需要恒久發(fā)力。
