本文來自微信公眾號“天翼智庫”，作者/李春輝、張媛玥。
大模型可增強自動駕駛感知系統(tǒng)感知精度、提升決策控制系統(tǒng)的記憶和理解能力，拓展并豐富復雜道路Corner-Case(長尾問題)場景，提高單車融合定位精度，降低對成本高、鮮度要求高和法律門檻高的高精度地圖的依賴，促進車輛在復雜城市道路場景落地高等級自動駕駛。同時大模型可提高數(shù)據(jù)標注精度和仿真訓練的效率，目前多家企業(yè)正積極部署適用于自動駕駛系統(tǒng)的大模型，如毫末智行Drive GPT”雪湖.海若“。另一方面，4月18日上海車展，商湯發(fā)布“日日新Sense nova”大模型，并展示“商量Sense Chat”以及”如影Sense Avtar“等與車輛座艙的結(jié)合，大模型將賦予智能座艙多種生成式AI能力。
引入大模型后新一代智能車的技術(shù)趨勢
大模型將推動端到端的自動駕駛技術(shù)路線落地，為車輛提供更加豐富的圖片與語義信息給車輛決策，使車輛更加接近高等級自動駕駛。同時大模型有望為智能座艙注入更加豐富的情感功能，使傳統(tǒng)人與座艙被動交互變?yōu)槿伺c座艙主動交互，如圖1-1，大模型有望使智能網(wǎng)聯(lián)車更加“智能”。
圖1-1大模型將賦能新一代智能網(wǎng)聯(lián)車
大模型將使自動駕駛系統(tǒng)更加“擬人”，引入語言大模型的端到端的自動駕駛技術(shù)將是未來趨勢。大模型的接入將取代用于感知、預測和規(guī)劃相關(guān)功能模塊，使自動駕駛系統(tǒng)直接通過輸入感知數(shù)據(jù)，然后輸出控制操作，更接近于人類的駕駛。未來語言類大模型或許將與純計算機視覺模型加強關(guān)聯(lián)，為純視覺模型對障礙物監(jiān)測和識別注入了豐富的語義推理信息，提升自動駕駛系統(tǒng)決策可解釋性的能力。如特斯拉于今年5月發(fā)布的最新自動駕駛技術(shù)首次采用自研純視覺端到端自動駕駛技術(shù)路線，但面對復雜道路環(huán)境場景仍出現(xiàn)系統(tǒng)識別和控制故障導致人工切換駕駛，如圖1-2。
圖1-2演示視頻中的一次自動駕駛系統(tǒng)故障導致人工切換操作
擁有海量數(shù)據(jù)的語言模型可在復雜的道路場景下提高自動駕駛系統(tǒng)識別與推理的精度和可解釋性。自動駕駛系統(tǒng)在預測和規(guī)劃的過程中，除對道路軌跡進行預測和規(guī)劃外，還需要對其他周邊物體的狀態(tài)和軌跡進行并行預測和規(guī)劃，在相對復雜的道路環(huán)境場景下采用傳統(tǒng)的方法（如分析多維度的運動狀態(tài)表征等）進行物體的軌跡預測時往往容易出現(xiàn)實時性差、組合爆炸等問題。引入大語言模型可以對周邊物體的運動行為進行駕駛目標分解和對應的推理假設，提高物體軌跡預測精度，升級自動駕駛系統(tǒng)的推理上限。
目前行業(yè)內(nèi)已有類似的大語言模型出現(xiàn)，近日上海OpenDriveLab攜手合作伙伴發(fā)布語言+自動駕駛?cè)珬ｉ_源數(shù)據(jù)集DriveLM，語義標注覆蓋感知、預測和規(guī)劃等模塊，梳理從環(huán)境障礙物識別、物體運動狀態(tài)、到軌跡判斷和自車運動規(guī)劃步驟的邏輯鏈，增強決策過程中的合理性和可解釋性，如圖1-3。
圖1-3 DriveLM將提升自動駕駛系統(tǒng)的推理能力
大模型降低自動駕駛訓練數(shù)據(jù)標注成本并優(yōu)化仿真效果。一是大模型可以顯著降低人工標注成本。毫末智行發(fā)布了自動駕駛界首個生成式預訓練大模型——DriveGPT雪湖.海若，據(jù)了解，DriveGPT標注一張圖片大約需要0.5元人民幣，而普通的方案標注一張圖片卻需要約5元人民幣，降低了近10倍成本。二是大模型可提高仿真環(huán)境與真實環(huán)境的相似度，提高主機廠自動駕駛算法的迭代效率。華為盤古大模型通過自研的NeRF算法重建高精準3D空間，生成新的Corner-Case，降低原始數(shù)據(jù)采集難度。盤古大模型對場景重建可按需編輯，仿真場景重建實現(xiàn)厘米級精度。
大模型將助力自動駕駛系統(tǒng)“脫高精度地圖”。高精度地圖當下應用過程中存在更新周期長，法規(guī)風險高，成本高等三大問題，BEV+Transformer提供了技術(shù)上“脫圖”的可能性。理想發(fā)布了大模型MindGPT，建立全自動閉環(huán)的訓練平臺，推出“無圖城市”NOA，通過建立NPN特征與TIN網(wǎng)絡增強BEV大模型，降低對高精度地圖的依賴。
智能座艙進入“擁抱”大模型階段，大模型有望賦予智能座艙包括情緒感知、智能助手、基于感情的對話、創(chuàng)意內(nèi)容生成、個性化交互等一系列功能，場景覆蓋辦公、購物、游戲、旅行等。如蔚來的人車交互系統(tǒng)NOMI具有較強的學習功能和語音指令識別功能，可與車主進行簡單的對話；華為計劃在AITO問界M9新車上部署大模型，其語音助手“小藝”可提供通勤道路異常提醒，自動識別駕駛員疲勞程度開啟座位按摩，根據(jù)駕駛狀態(tài)推薦駕駛模式，自動停車找位等功能，升級與用戶的交互體驗。
大模型將促進“車云”深度融合。一方面，目前車端芯片算力最多在1,000 TOPS,無法滿足自動駕駛大模型未來萬億TOPS算力需求，同時大模型在車端的部署還需要通過嚴格的車規(guī)級相關(guān)標準，車端部署大模型還需要較為漫長的過程，因此將大模型部署在不受能耗和算力限制的云端，成為當下相對可行的解決方案。另一方面，高等級智能網(wǎng)聯(lián)車將產(chǎn)生海量且復雜的數(shù)據(jù)與云端交互，云端需要對車端的數(shù)據(jù)進行存儲，監(jiān)控，運維和分析，分布式混合云將成為剛需，同時保障低延時的邊緣云也需納入進來。未來車輛軟件架構(gòu)也許會變成Kubernetes這樣一主多從或多主多從的架構(gòu)，進而實現(xiàn)“云隨車動”，改善整體系統(tǒng)的運維環(huán)境，使智能網(wǎng)聯(lián)車更好的與云原生態(tài)結(jié)合。
端到端自動駕駛需要更高可靠的通信技術(shù)。在復雜的道路環(huán)境現(xiàn)有的5G通信網(wǎng)絡難以滿足車輛進行端到端的低延時高可靠通信，特別是涉及到自動駕駛相關(guān)感知和推理功能的應用。目前由信通院牽頭華為參與的星閃（Near Link）短距通信技術(shù)，具備強干擾、大帶寬以及更低的時延（＜10ms），有望更好結(jié)合5G網(wǎng)絡，也許使端到端自動駕駛應用在復雜道路特定路段的通信迎來轉(zhuǎn)機，解決多徑復雜道路環(huán)境下車輛與云端通信可靠性的問題。
運營商的發(fā)展建議
1.繼續(xù)做大做強通信網(wǎng)絡，探索新通信技術(shù)業(yè)務可能性
一是進一步加強5G網(wǎng)絡和邊緣云建設，在較為復雜的城市道路場景實現(xiàn)5G、5.5G冗余建設、并加強邊緣云的建設應用。二是多關(guān)注和運用新一代的通信技術(shù)，探索最新通信技術(shù)在智能網(wǎng)聯(lián)車業(yè)務應用可能性，如目前由華為主導的星閃Release 2.0標準正在推進中，Release 2.0將加入高精定位、感知、覆蓋增強（sub-1GHz）、超高速率（毫米波）等接入層特性。
2.擴建智算中心和提供大模型產(chǎn)品服務，探索新一代智能網(wǎng)聯(lián)車架構(gòu)
一是抓住機遇拓展IAAS層相關(guān)能力，積極與車企、自動駕駛供應商合作，探索聯(lián)合建設符合智能網(wǎng)聯(lián)車功能安全標準的智算中心。二是根據(jù)主機廠及客戶相關(guān)的需求建設支持自動駕駛和智能座艙功能的大模型產(chǎn)品，為車企或自動駕駛供應商提供標注，仿真，推理，語言助手，娛樂等出行服務。三是聯(lián)合主機廠與系統(tǒng)集成商探索新一代的智能網(wǎng)聯(lián)車軟件架構(gòu)可行性，強化端到端的運維能力。
3.重視單車自動駕駛技術(shù)路線中的重要能力提升
一是升級高精度地圖產(chǎn)品相關(guān)能力。目前主流車企無圖化算法方案仍不成熟，同時未來生成式AI可以快速標注并迭代高精地圖，降低成本。騰訊智慧交通團隊已建立了端到端的主動學習AI系統(tǒng)，使高精地圖迭代速度提升10倍以上，短期內(nèi)高精度地圖仍不可替代。
二是強化基于GNSS的增強定位能力。GNSS增強定位既可作為實時矯正高精地圖精度真值系統(tǒng)，也可實時對智能網(wǎng)聯(lián)車進行精準定位。目前千尋、時空道宇等各大廠家紛紛建設和部署了符合自動駕駛單車應用的精密單點定位系統(tǒng)服務網(wǎng)絡。
