在一個(gè)完備的數(shù)字孿生系統(tǒng)中，對(duì)運(yùn)行環(huán)境和數(shù)字孿生組成部件自身狀態(tài)的感知是基礎(chǔ)，也是數(shù)字孿生系統(tǒng)中的重要環(huán)節(jié)。感知系統(tǒng)的實(shí)現(xiàn)主要依賴不同類型的傳感器及其融合技術(shù)。按照感知位置劃分，數(shù)字孿生系統(tǒng)的傳感器可分為內(nèi)部傳感器和外部傳感器兩大類，其中內(nèi)部傳感器用于檢測(cè)設(shè)備或裝備的內(nèi)部參數(shù)，如加速度傳感器、速度傳感器、位移傳感器、位置傳感器等；外部傳感器用于檢測(cè)設(shè)備或裝備以外的外部參數(shù)，分為接觸式和非接觸式兩類，接觸式包括觸覺傳感器、力覺傳感器，非接觸式傳感器包括視覺傳感器、嗅覺傳感器、聽覺傳感器、接近覺傳感器等?；趫D像方法的非接觸式測(cè)量是一種重要的環(huán)境感知方法，能夠?yàn)楹罄m(xù)的控制與決策提供底層信息。本文結(jié)合自主移動(dòng)機(jī)器人雙目立體視覺障礙物探測(cè)感知的實(shí)際研發(fā)案例，深度講解圖像感知技術(shù)。
一、應(yīng)用背景
機(jī)器人道路環(huán)境的理解，除了檢測(cè)和識(shí)別道路導(dǎo)航標(biāo)識(shí)外，還需準(zhǔn)確探測(cè)出道路環(huán)境中的障礙物，以提高道路環(huán)境理解的準(zhǔn)確性和完整性。機(jī)器人障礙物檢測(cè)常采用兩種途徑：雷達(dá)測(cè)距法，CCD視覺法。本文研究的是后者。
典型的自主車障礙物視覺檢測(cè)系統(tǒng)如圖1所示。
（a）完全依靠立體視覺感知的自主車Prowler（b）自主車Navlab的障礙物檢測(cè)系統(tǒng)
圖1典型自主車立體視覺障礙物檢測(cè)系統(tǒng)
在DARPAUrban Challenge中，Princeton車隊(duì)的自主車Prowler只用了3個(gè)立體視覺攝像機(jī)Bumblebee就完成了看路及障礙物檢測(cè)。據(jù)報(bào)道，其立體視覺系統(tǒng)能探測(cè)60米遠(yuǎn)，一套障礙物檢測(cè)算法即可通用。
雙目視覺在智能機(jī)器人中也是一項(xiàng)核心技術(shù)。要實(shí)現(xiàn)機(jī)器人的深度人工智能，讓機(jī)器人能夠看得更準(zhǔn)、更快、更智能是最基本的條件之一。機(jī)器人視覺的研究當(dāng)前還面臨著大量難點(diǎn)問題，其中基于立體視覺的快速魯棒環(huán)境感知與理解就是一大技術(shù)難點(diǎn)。
圖2雙目移動(dòng)機(jī)器人
二、一般方法
具有代表性的立體視覺障礙物檢測(cè)方法可總結(jié)為以下幾種。
1．按像素點(diǎn)匹配法
對(duì)機(jī)器人獲取的行進(jìn)道路圖像中需要判定的每一個(gè)像素點(diǎn)進(jìn)行立體視覺計(jì)算，根據(jù)圖像坐標(biāo)、攝像機(jī)坐標(biāo)及世界坐標(biāo)系之間的關(guān)系，計(jì)算出像素點(diǎn)的高度值，該值與地面高度值的差值超過設(shè)定的閾值則劃分為障礙點(diǎn)，否則為可通行區(qū)域。典型應(yīng)用是火星探測(cè)車“勇氣號(hào)”和“機(jī)遇號(hào)”，做法是：先對(duì)圖像中的每一像點(diǎn)進(jìn)行左右視點(diǎn)匹配及高峰、小點(diǎn)過濾，再根據(jù)其像點(diǎn)的高度、斜坡度判斷是否為障礙物，同時(shí)建立障礙物的遠(yuǎn)近層次圖，當(dāng)前只考慮較近層次的障礙物。該方法的缺點(diǎn)是對(duì)圖像中的每一個(gè)像素點(diǎn)都要進(jìn)行立體視覺重建，計(jì)算量大，不能滿足機(jī)器人的實(shí)時(shí)性要求。
2．映射變換矩陣法
定義一個(gè)實(shí)時(shí)映射變換矩陣，使地面點(diǎn)與圖像平面中像點(diǎn)一一對(duì)應(yīng)。在雙目視覺移動(dòng)機(jī)器人中，分別通過實(shí)時(shí)匹配算法計(jì)算得到映射變換矩陣，結(jié)合后可得到左右圖像上像點(diǎn)的關(guān)系。如果點(diǎn)（X,Y）位于機(jī)器人行走的可通行區(qū)域上，則通過映射計(jì)算的像點(diǎn)坐標(biāo)與通過匹配算法驗(yàn)證的對(duì)應(yīng)點(diǎn)坐標(biāo)重合，否則，意味著該點(diǎn)高于或低于地面，判定為障礙物。
缺點(diǎn)：道路不平坦時(shí)，攝像機(jī)成像平面與地面相對(duì)幾何位置不斷變化，攝像機(jī)的圖像坐標(biāo)系與地面坐標(biāo)系之間映射關(guān)系也隨之變化，這就需要對(duì)攝像機(jī)能夠?qū)崟r(shí)進(jìn)行標(biāo)定，否則檢測(cè)精度受到影響。
3．基于圖像分割的方法
一種常見的做法是：采用彩色圖像視覺系統(tǒng)，先利用顏色特征將場(chǎng)景中的每個(gè)像素歸類到可通行區(qū)域和可疑障礙物區(qū)域兩個(gè)集合中，即初步檢測(cè)障礙物；然后進(jìn)行立體視覺計(jì)算，計(jì)算時(shí)只在可疑障礙物區(qū)域搜索，消除圖像分割時(shí)“偽障礙物”（如陰影、樹葉）的影響，更加精確可靠的檢測(cè)出障礙物。為增強(qiáng)對(duì)環(huán)境變化的適應(yīng)性，研究者提出了自適應(yīng)圖像分割方法。事先訓(xùn)練在不同光照條件下可行區(qū)域的顏色值，通過計(jì)算當(dāng)前光照條件下路面的參考色調(diào)、飽和度值及閾值，對(duì)機(jī)器人場(chǎng)景圖像達(dá)到自適應(yīng)分割。有的研究利用顏色加紋理特征進(jìn)行道路圖像分割及初步障礙物檢測(cè)，這種做法增加了檢測(cè)的準(zhǔn)確性，但同時(shí)增加了計(jì)算量。
盡管人們對(duì)基于視覺的障礙物檢測(cè)方法已開展了大量研究，但迄今為止該領(lǐng)域的一些關(guān)鍵技術(shù)問題仍未得到很好的解決，總的來看，目前車載視覺平臺(tái)障礙物檢測(cè)的難點(diǎn)可總結(jié)為以下幾點(diǎn)：
（1）特征相似障礙物的區(qū)分。有些障礙物與可通行區(qū)域的特征提取結(jié)果非常相似，例如顏色、紋理特征一致，此時(shí)障礙物的準(zhǔn)確辨識(shí)比較困難，可以嘗試采用多特征融合方法加以解決。
（2）偽障礙物的檢測(cè)及障礙物界定。有些偽障礙物按照系統(tǒng)障礙物的定義被判斷為障礙物，例如路面上高度、體積不大的石塊、磚塊等，空中突然闖入的飛鳥、紙屑、樹葉等，還有揚(yáng)塵塵團(tuán)、污染物團(tuán)等，如果頻繁的把這些偽障礙物作為障礙物處理，顯然會(huì)影響車輛行進(jìn)速度。
（3）運(yùn)動(dòng)振動(dòng)造成的障礙物信息測(cè)量失真。典型的情況如無人平臺(tái)在野外復(fù)雜凹凸地形環(huán)境下行進(jìn)時(shí)，行進(jìn)過程中的振動(dòng)使得傳感器檢測(cè)和傳輸?shù)臄?shù)據(jù)不連續(xù)，從而造成所描述的地形信息不準(zhǔn)確，障礙虛報(bào)、誤報(bào)率增大，影響平臺(tái)行駛速度。
在結(jié)構(gòu)化、半結(jié)構(gòu)化道路環(huán)境中，障礙物主要是車輛和行人，非結(jié)構(gòu)化道路環(huán)境中的障礙物主要是石塊、樹干等凸形路障和凹形坑洞。單目圖像分割、特征提取算法一般不能排除與可通行區(qū)域同色調(diào)的小障礙等偽障礙物對(duì)檢測(cè)結(jié)果的影響，但單目特征提取再結(jié)合模式識(shí)別、目標(biāo)跟蹤等算法可快速探測(cè)到障礙物，并實(shí)現(xiàn)對(duì)其跟蹤。立體視覺可以讓機(jī)器人進(jìn)一步理解障礙物的距離、高度信息，有效排除偽障礙物，從而提高其對(duì)環(huán)境理解的精準(zhǔn)度[77-79]。本章采用彩色雙目立體視覺技術(shù)、結(jié)合局部不變性特征檢測(cè)技術(shù)和視覺顯著性理論，提出兩種基于車載機(jī)器視覺的障礙物檢測(cè)算法，一種是融合深度信息的多特征融合障礙物檢測(cè)算法；一種是基于低層視覺顯著性特征匹配的動(dòng)態(tài)車輛障礙物檢測(cè)算法。由于采用的是已標(biāo)定好的雙目攝像機(jī)，故沒有對(duì)攝像機(jī)標(biāo)定展開深入研究，將研究重點(diǎn)放在雙目匹配及深度信息獲取環(huán)節(jié)。
三、雙目立體感知步驟
基于雙目視覺（Binocularvision）的立體感知步驟如圖3所示。
圖3雙目立體視覺感知步驟
立體視覺計(jì)算包括兩個(gè)主要處理模塊，數(shù)據(jù)處理流程如圖4所示：
圖4立體視覺數(shù)據(jù)處理流程
視差是立體視覺中的關(guān)鍵概念。視差的定義為：空間中同一點(diǎn)在左右目圖像中坐標(biāo)上的差值。其含義解釋如圖5。
圖5視差的含義
圖5中，點(diǎn)A的視差定義為：，點(diǎn)B的視差定義為：，其中，為A在左圖像中的x坐標(biāo)，為A在右圖像中的x坐標(biāo)。B可類推。計(jì)算后會(huì)發(fā)現(xiàn)：，這表明場(chǎng)景中點(diǎn)B比點(diǎn)A近。
四、立體匹配
立體匹配是所有步驟中的難點(diǎn)，也是一直以來立體視覺研究的熱點(diǎn)。近年來，基于圖割的、基于圖像局部特征的、基于多尺度空間的，以及基于綜合型算子如Contourlet-SIFT的立體匹配算法得到了廣泛研究。根據(jù)自主車在不同道路環(huán)境下的視覺導(dǎo)航需求，需采取恰當(dāng)?shù)膱D像預(yù)處理方法及立體匹配算法，研究開發(fā)適用于實(shí)際應(yīng)用系統(tǒng)特點(diǎn)的實(shí)時(shí)立體匹配算法才具有實(shí)用價(jià)值。
現(xiàn)有的匹配算法可以分為兩種類型：一種是基于特征的匹配，另一種是基于像素的匹配?；谔卣鞯钠ヅ湫枰仍谝环鶊D像中確定出特征，然后再在待匹配圖像中利用約束條件在一定范圍內(nèi)搜索相似特征?；谙袼氐钠ヅ浼俣ㄒ环鶊D像中的每一像素點(diǎn)都是興趣點(diǎn)，再在另一幅圖像中搜索對(duì)應(yīng)像素點(diǎn)。匹配計(jì)算實(shí)質(zhì)上是一個(gè)優(yōu)化問題，優(yōu)化方法又分為局部?jī)?yōu)化和全局優(yōu)化方法兩類。局部?jī)?yōu)化方法通常只能保證視差是某個(gè)區(qū)域內(nèi)的最優(yōu)解，不能在整個(gè)圖像范圍內(nèi)對(duì)視差進(jìn)行優(yōu)化。全局優(yōu)化可得到全局最優(yōu)的視差分布，但如何定義目標(biāo)函數(shù)及開發(fā)行之有效的尋優(yōu)算法有難度?；诰植?jī)?yōu)化的典型匹配方法有：基于區(qū)域的匹配法、基于小波域相位的匹配法、基于三角剖分的匹配法、基于秩變化和Census變換的變換匹配法、基于特征和區(qū)域混合的混合匹配法。基于全局優(yōu)化的典型匹配方法有：基于動(dòng)態(tài)規(guī)劃的匹配法、最大流-最小割法、協(xié)同迭代法等。常用的優(yōu)化方法有：神經(jīng)網(wǎng)絡(luò)、模擬退火、遺傳算法、粒子濾波、動(dòng)態(tài)規(guī)劃、最大流-最小割法等，但這些算法在面臨圖像高維數(shù)據(jù)據(jù)時(shí)，都或多或少存在著難以控制收斂、效率低問題。
求解匹配關(guān)系最優(yōu)化一般使用如下能量函數(shù)形式：
式中，
為數(shù)據(jù)項(xiàng)，表示對(duì)應(yīng)像素匹配的一致性程度；
為懲罰項(xiàng)，記錄誤匹配；
為平滑項(xiàng)，用于約束鄰接像素，使其具有一致性視差。
為減少誤匹配，通常采用增加約束的手段。立體匹配的約束條件有：唯一性約束、相似性約束、外極線約束、平滑性約束、單調(diào)性約束、順序約束、遮擋約束。
在自主車、機(jī)器人導(dǎo)航的應(yīng)用環(huán)境下，所采用的立體視覺算法還應(yīng)該滿足如下的要求：
（1）實(shí)時(shí)性。應(yīng)能滿足實(shí)時(shí)響應(yīng)控制系統(tǒng)、導(dǎo)航?jīng)Q策系統(tǒng)需求的能力，在規(guī)定時(shí)限內(nèi)為其提供必要的數(shù)據(jù)。
（2）可靠性。算法在不同條件下可準(zhǔn)確辨識(shí)出障礙物，且一旦出現(xiàn)異常問題，算法具有自動(dòng)修復(fù)、自動(dòng)容錯(cuò)能力。
（3）環(huán)境自適應(yīng)性。根據(jù)車輛運(yùn)行環(huán)境的變化，算法應(yīng)能自動(dòng)調(diào)整其采集到的環(huán)境特征，并自主學(xué)習(xí)其特征參數(shù)，最終通過機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)對(duì)環(huán)境的自適應(yīng)。
典型的立體匹配算法是基于像素“絕對(duì)誤差累計(jì)”的塊匹配算法。步驟為：
（1）對(duì)圖像A中的某一個(gè)像素，以該像素為中心，確定一個(gè)像素的正方形模板；
（2）沿水平極線（同一行），將（1）中模板與圖像B中的相同大小模板遍歷比較；
（3）依據(jù)比較結(jié)果，選擇最佳匹配；
（4）重復(fù)步驟（1），直至所有點(diǎn)匹配完成。
模板比較時(shí)采用的公式為：
五、深度信息獲取及三維重建
本文采用的雙目視覺系統(tǒng)如圖6所示，左右攝像機(jī)的兩幅圖像是行對(duì)準(zhǔn)的，光軸嚴(yán)格平行，兩攝像機(jī)間的極線距離為T，焦距相同，為左圖像的原點(diǎn)，為右圖像的原點(diǎn)。則利用三角測(cè)量原理，可由視差d計(jì)算出深度Z。
圖6理想假設(shè)下深度與視差的三角測(cè)量關(guān)系
利用相似三角形，可推導(dǎo)出：
（3）通過公式4，可確定可獲得的最小深度范圍的精度。
（4）其中，是允許的最小視差增量。
已知像素的視差d和坐標(biāo)，通過公式5就可計(jì)算出該像素的三維坐標(biāo)。
攝像機(jī)坐標(biāo)系下，其視差分別為d1，d2，d3，顯然，。
圖7遠(yuǎn)近不同點(diǎn)的視差關(guān)系
由公式分析可知，當(dāng)視差很小時(shí)，微小的視差變化會(huì)引起很大的深度變化；當(dāng)視差較大時(shí)，微小的視差變化幾乎不會(huì)引起深度太大的變化。結(jié)合圖7進(jìn)一步分析可知，物距越遠(yuǎn)，視差變化引起的測(cè)距深度變化越不明顯，即越不利于深度的精確測(cè)量。于是可得到如下結(jié)論：立體視覺對(duì)距離攝像機(jī)較近的物體有較高的深度測(cè)量精度，超過一定物距范圍將不能保證精度。
對(duì)工業(yè)機(jī)器人抓取工件、三維建模等需要精確知道三維世界坐標(biāo)的應(yīng)用場(chǎng)合，需要真正的三維重建。但對(duì)于機(jī)器人立體視覺導(dǎo)航應(yīng)用，由于對(duì)實(shí)時(shí)性的強(qiáng)烈要求，并不需要做完整的三維重建。移動(dòng)機(jī)器人視覺導(dǎo)航實(shí)質(zhì)上是對(duì)視頻圖像（圖像序列）的處理、分析及理解問題。在利用靜態(tài)圖像基礎(chǔ)理論的基礎(chǔ)上，還應(yīng)更多關(guān)注圖像運(yùn)動(dòng)信息的分析問題，例如利用幀到幀的匹配來重建運(yùn)動(dòng)軌跡。
