本文來自微信公眾號“半導體行業(yè)觀察”。
從最初的百萬像素手機，到如今幾千萬甚至過億像素的單反相機和智能手機，各種成像設備迭代的背后，是人們對完美畫質(zhì)的無盡追求。畢竟在人眼這臺像素高達5.76億的超級相機面前，一切都還是不夠真實。
相機的發(fā)展始終離不開ISP技術(shù)的支撐，對于傳統(tǒng)ISP技術(shù)而言，夜景和高動態(tài)范圍一直是非常有挑戰(zhàn)性的場景，尤其是夜間動態(tài)場景下的噪聲大、運動拖影、模糊，以及高光過曝和低光信息丟失等問題，不僅無法滿足大眾越來越高的影像記錄需求，也一直困擾著視頻監(jiān)控、交通管理等行業(yè)的發(fā)展。
但技術(shù)的不斷突破總能顛覆我們的想象，當人們?nèi)栽谔籼拗鴤鹘y(tǒng)ISP的種種瑕疵時，AI的飛速發(fā)展給了我們更多可能。AI-ISP技術(shù)的出現(xiàn)，讓極低照度環(huán)境下的高清全彩成像成為可能，攝像頭開始從之前的“看得見”，逐漸走向“看得清”甚至“看得懂”。
“真黑光”時代正式向我們走來。
真黑光，賦能智能IoT
先來說說什么是真黑光，根據(jù)夜視效果的不同，我們可以用不同的名稱來區(qū)分相機的夜景性能，如暗光、星光、超星光、黑光等。這種名稱并沒有統(tǒng)一標準，但關注點都在于某一個弱光亮度下是否可以保持全彩效果。一般來說，黑光級意味著攝像機可以在0.01lux及以下照度的條件下工作。
傳統(tǒng)方式下，要實現(xiàn)黑光效果，基本是通過使用大版面的sensor、低分辨率的sensor（一般低分辨率sensor的單個像素尺寸大）、增大模組光圈、降低視頻幀率來增大進光量，從而在夜晚獲取更多光照和色彩信息。但使用以上方法后，在極暗場景下色彩飽和度無法實現(xiàn)100%，運動物體還是容易產(chǎn)生透視或鬼影的效果，且提高版面、增大光圈還會造成成本的增加，都不能真正的滿足行業(yè)需求。
換句話說，在極暗環(huán)境下，“魚和熊掌不可兼得”。
但即便這樣，也并非全無辦法，愛芯元智自主研發(fā)的愛芯智眸®AI-ISP的出現(xiàn)，讓黑光全彩成像走進了現(xiàn)實。實測顯示，愛芯智眸®AI-ISP加持下的相機能在<0.01Lux的低照度下，無需白光補光或紅外補光，即可做到25～30幀的實時色彩還原，色彩飽和度≥100%，并可以保證運動物體無明顯拖影、透視或鬼影。愛芯元智也認為，只有同時滿足以下6大要素，才能被稱為“真黑光”，才能真正幫助用戶在極暗場景下實現(xiàn)更好的視頻效果。
正是基于“真黑光”的突破，智慧城市、智能IoT有了更豐富的應用場景。在路口、高山、池塘、農(nóng)田等夜晚極暗的環(huán)境下，無需犧牲畫質(zhì)，就能提升視頻亮度，讓攝像機依舊拍出畫面層次感好、顏色還原準確的彩色視頻；此外，該技術(shù)還可以實現(xiàn)全場景的視頻效果，在池塘、農(nóng)田這一類無法進行補光的地方，同樣實現(xiàn)更精準的智能判斷。
關鍵模塊AI化，以端側(cè)有限算力
實現(xiàn)AI-ISP最佳效果
愛芯智眸®AI-ISP如何能實現(xiàn)“真黑光”？7月19日，在第五屆世界半導體大會“2023年長三角集成電路產(chǎn)業(yè)創(chuàng)新發(fā)展論壇”上，愛芯元智ISP系統(tǒng)專家張興就愛芯智眸®AI-ISP的架構(gòu)創(chuàng)新展開了介紹。
ISP的全稱是Image signal processor，即圖像信號處理器，它能將圖像傳感器獲取的信號轉(zhuǎn)換為人、機器可以識別和分辨的信息，對圖像質(zhì)量非常重要。形象地來說，ISP相當于人眼成像系統(tǒng)中的大腦，它會把由鏡頭sensor收集來的影像進行加工、提升和處理，最終得到一個真實甚至更好的成像質(zhì)量。
傳統(tǒng)ISP是將CIS sensor輸出的Raw數(shù)據(jù)接入后，按照一定pipeline順序?qū)aw數(shù)據(jù)轉(zhuǎn)換成人眼可見的YUV數(shù)據(jù)，對于圖像的處理是基于數(shù)學建模和人類對圖像的樸素理解而實現(xiàn)。作為近年來新出現(xiàn)的技術(shù)概念，AI-ISP則是在傳統(tǒng)ISP pipeline基礎上，將傳統(tǒng)數(shù)學建模方法解決不好的問題，利用AI神經(jīng)網(wǎng)絡，通過更豐富的參數(shù)模擬人腦，建立更復雜的模型，從而超越傳統(tǒng)ISP的天花板，實現(xiàn)更好的圖像效果。
目前，愛芯智眸®AI-ISP是通過AI賦能ISP Pipeline里最關鍵的四個模塊——HDR、3DNR、RLTM和Demosaic，即通過AI訓練的方式不斷提升這四大模塊的性能，打破傳統(tǒng)ISP成像的“天花板”。
之所以選擇將關鍵模塊AI化，是因為端側(cè)的算力往往是有限的，考慮到實際落地中的功耗以及成本問題，對整個Pipeline進行AI處理并不現(xiàn)實?？梢哉f，愛芯智眸®AI-ISP更接近于真正的產(chǎn)品化，其通過對重要模塊的AI化，將有限的算力集中于最關鍵、人眼最可知的功能中，實現(xiàn)整個AI-ISP的最佳效果。
因此，在實際應用中，愛芯智眸®AI-ISP通過迭代視覺模型即可提升性能，快速實現(xiàn)芯片產(chǎn)品畫質(zhì)的升級換代。這意味著，愛芯元智用一顆芯片就能實現(xiàn)對不同場景、不同市場的覆蓋，這既能降低AI綜合應用成本，也是對生產(chǎn)力的極大提升。
當前，愛芯元智不僅在繼續(xù)優(yōu)化和迭代HDR、3DNR、RLTM和Demosaic相關的AI算法，也在探索將傳統(tǒng)ISP pipeline上的其他模塊進行AI化。此外，結(jié)合愛芯智眸®AI-ISP的高算力要求，愛芯元智還同步自研了愛芯通元®混合精度NPU，進一步加快AI開發(fā)的落地效率。
至于愛芯智眸®AI-ISP與“真黑光”之間的關系，張興表示，在0.01lux.的黑光時代，僅從鏡頭和sensor的提升已經(jīng)不能解決實質(zhì)問題，而傳統(tǒng)ISP已經(jīng)無法滿足黑光的技術(shù)提升需求，也因此出現(xiàn)了很多魚目混珠的情況，比如說降幀，增加補光燈等方法，“愛芯認為，一個合格的黑光全彩相機要保證在0.01lux場景下，不需要通過補光，可以實時（25-30）fps，正確分辨運動物體，并正確還原顏色”。而這，正是愛芯智眸®AI-ISP所具備的差異化優(yōu)勢。
事實上，也恰恰是愛芯智眸®AI-ISP在2020年正式切入市場，從而引領了“黑光全彩相機”這個新品類的快速發(fā)展。
今年以來，大模型的火熱帶領AI發(fā)展步入新階段，愛芯元智認為，基于圖像處理的實時性、可靠性的高要求，以及隱私保護的需求，未來AI將從云端逐漸落地到端側(cè)邊緣側(cè)，這也將對端側(cè)算力提出更高要求。目前，愛芯元智第三代、第四代芯片所搭載的愛芯通元®混合精度NPU都支持Transformer大模型部署。隨著大模型的發(fā)展，愛芯元智也在積極探索通過大模型實現(xiàn)更好的AI-ISP效果。
可以看到，伴隨著極暗、高動態(tài)、光污染等各種極限場景下的更高成像要求，AI-ISP在人工智能視覺成像領域正變得越來越重要。以技術(shù)創(chuàng)新解決低照和高動態(tài)的行業(yè)核心痛點，愛芯智眸®AI-ISP打造的黑光全彩相機等新品類，也正在為人們解鎖更多視界，未來或?qū)⒁I一個全新成像時代的到來。
