隨著無人機、無人車以及移動機器人的井噴式發展,導航技術成為了制約無人平臺廣泛應用的瓶頸技術之一。在應用需求的牽引下,視覺/慣性組合導航技術,特別是視覺與微慣性傳感器的組合,逐漸發展成為當前自主導航及機器人領域的研究熱點。本文介紹的視覺/慣性組合導航技術側重于利用視覺和慣性信息估計載體的位置、速度、姿態等運動參數以及環境的幾何結構參數,而不包含場景障礙物檢測以及載體運動軌跡規劃等。
視覺/慣性組合導航具有顯著的優點:1)微慣性器件和視覺傳感器具有體積小、成本低的優點,隨著制造技術的不斷進步,器件越來越小,且成本越來越低。2)不同于衛星和無線電導航,視覺和慣性導航均不依賴外部設施支撐,可以實現自主導航。3)慣性器件和視覺器件具有很好的互補性,慣性導航誤差隨時間累積,但是在短時間內可以很好地跟蹤載體快速運動,保證短時間的導航精度;而視覺導航在低動態運動中具有很高的估計精度,且引入了視覺閉環矯正可以極大地抑制組合導航誤差,兩者的組合可以更好地估計導航參數。
視覺和慣性組合導航技術近年來取得了長足的發展。孫永全和田紅麗從同步定位與構圖(Simultaneous Localization and Mapping,SLAM)的角度對視覺/慣性組合導航技術的基本原理和標志性成果進行了詳細分析。Huang對基于濾波技術的視覺/慣性組合導航技術進行了全面的描述,特別是對濾波器的可觀性和濾波狀態的一致性問題進行了深入的探討。Huang和Zhao等對基于激光和視覺傳感器的SLAM技術進行了全面的介紹,該文引用的文獻十分全面,但缺乏基本原理的闡述。當前隨著基于機器學習的視覺/慣性組合導航算法性能不斷提高,部分算法已達到甚至超過傳統的基于模型的組合導航算法性能。因此,非常有必要按照基于模型的算法和基于機器學習的算法對視覺/慣性組合導航技術進行詳細的分析。
1 視覺/慣性組合導航技術發展簡述
傳統的基于視覺幾何與運動學模型的視覺和慣性導航技術研究成果非常豐富。本文主要從純視覺導航以及組合導航2個層次梳理相關工作。
純視覺導航技術主要有2個分支:一個分支是視覺里程計(Visual Odometry,VO)技術;而另一個分支是視覺同步定位與構圖(Visual Simultaneous Localization and Mapping,VSLAM)技術。Scaramuzza教授對早期的VO技術進行了詳細的介紹,并闡述了VO技術與VSLAM技術的區別與聯系:VO側重于利用連續圖像幀之間的位姿增量進行路徑積分,至多包含滑動窗口內的局部地圖;VSLAM側重于全局路徑和地圖的優化估計,支持重定位和閉環優化;通常VO可以作為VSLAM算法框架的前端。
目前,視覺里程計可以根據使用相機個數的不同分為單目、雙目和多目視覺里程計。其中最具有代表性和影響力的主要有三種算法,分別是視覺里程計庫(Library for Visual Odometry,LIBVISO)、半直接單目視覺里程計(Semi-Direct Monocular Visual Odometry,SVO)和直接稀疏里程計(Direct Sparse Odometry,DSO)。這三種算法由于代碼公開,易于使用,運動估計效果好,成為了研究者們廣泛使用和對比的算法。
對于VSLAM算法,目前主流的方法可以分為兩類:一類是基于濾波的方法;另一類是基于Bundle Adjustment的優化算法。這兩類方法的開創性成果分別是Davison教授提出的Mono SLAM算法和Klein博士提出的并行跟蹤與構圖(Parallel Tracking And Mapping,PTAM)算法。在2010年國際機器人和自動化大會(IEEE International Conference on Robotics and Automation,ICRA)上,Strasdat的文章指出優化算法比濾波算法的性價比更高,從此以后基于非線性優化的VSLAM算法就漸漸多起來。其中代表性的工作是ORB-SLAM和LSD-SLAM,二者的主要區別是ORB-SLAM的前端采用稀疏特征,而LSDSLAM的前端采用稠密特征。
當然,任何純視覺導航算法都存在無法避免的固有缺點:依賴于場景的紋理特征、易受光照條件影響以及難以處理快速旋轉運動等。因此,為了提高視覺導航系統的穩定性,引入慣性信息是很好的策略。
視覺/慣性組合導航技術與VSLAM算法類似,主要采用兩種方案:一種是采用濾波技術融合慣性和視覺信息;另一種是采用非線性迭代優化技術融合慣性和視覺信息。
基于濾波技術的視覺/慣性組合導航算法,可以進一步分為松組合和緊組合兩種框架。文獻[14-15]使用了卡爾曼濾波器來融合雙目相機和慣性器件輸出。作為一種松組合方式,組合中沒有充分使用慣性器件的輸出來輔助圖像特征點的匹配、跟蹤與野值剔除。2007年,Veth提出了一種視覺輔助低精度慣性導航的方法。該算法使用了多維隨機特征跟蹤方法,其最大的缺點是跟蹤的特征點個數必須保持不變。同年,Mourikis提出了基于多狀態約束的卡爾曼濾波器(Multi-State Constraint Kalman Filter,MSCKF)算法[,其優點是在觀測模型中不需要包含特征點的空間位置;但是MSCKF算法中存在濾波估計不一致問題:不可觀的狀態產生錯誤的可觀性,如航向角是不可觀的,但MSCKF通過擴展卡爾曼濾波(ExtendedKalman Filter,EKF)線性化后會使航向角產生錯誤的可觀性。為了解決濾波估計不一致問題,李明陽等提出了首次估計雅可比EKF(the First Estimate Jacobian EKF,FEJ-EKF)算法;Huang等提出了基于可觀性約束的無跡卡爾曼濾波(Unscented Kalman Filte,UKF)算 法;Castellanos等提出了Robocentric Mapping濾波算法。這些算法均在一定程度上解決了濾波估計不一致問題。
2015年,Bloesch等提出了魯棒視覺慣性里程計(Robust Visual Inertial Odometry,ROVIO),該算法利用EKF將視覺信息和慣性測量單元(Inertial Measurement Unit,IMU)信息進行緊耦合,在保持精度的同時降低了計算量。Indelman等基于EKF,綜合利用了2幅圖像間的對極約束和3幅圖像之間的三視圖約束融合單目相機和慣性器件?；谙嗤挠^測模型,Hu等給出了基于UKF的實現方法。
近年來,基于優化的算法得到了快速發展。Lupton和Sukkarieh于2012年首次提出了利用無初值條件下的慣性積分增量方法來解決高動態條件下的慣性視覺組合導航問題。文中采用了Sliding Window Forced Independence Smoothing技術優化求解狀態變量。預積分理論的建立,使得基于優化的視覺/慣性組合導航算法得以實現。受此思想啟發,Stefan等采用Partial Marginalization技術,通過優化非線性目標函數來估計滑動窗口內關鍵幀的位姿參數。其中,目標函數分為視覺約束和慣性約束2個部分:視覺約束由空間特征點的重投影誤差表示,而慣性約束由IMU運動學中的誤差傳播特性表示。該方法不適用于長航時高精度導航,因為沒有閉環檢測功能,無法修正組合導航系統的累積誤差。2017年,Forster等完善了計算關鍵幀之間慣性積分增量的理論,將該理論擴展到Rotation Group,并分析了其誤差傳播規律。該算法也未考慮閉環檢測問題。同樣基于預積分理論,沈劭劼課題組提出了視覺慣性導航(Visual-Inertial Navigation System,VINS)算法。該算法具備自動初始化、在線外參標定、重定位、閉環檢測等功能。ORB-SLAM的設計者Mur-Artal等利用預積分理論,將慣性信息引入ORB-SLAM框架,設計了具有重定位和閉環檢測等功能的視覺/慣性組合導航算法。關于預積分理論,目前還缺乏積分增量合并以及相應的協方差矩陣合并方法。因此,文獻[28]去掉了ORB-SLAM中的關鍵幀刪除功能。表1匯總了基于視覺幾何與運動學模型的視覺和慣性導航技術的主要研究成果。
基于模型的視覺/慣性組合導航技術需要信噪比較高的輸入數據,算法的整體性能不僅受制于算法的基本原理,還取決于參數的合理性與精確度。相對而言,深度學習神經網絡能夠通過大數據訓練的方式自適應地調節參數,對輸入數據具有一定的容錯性,因此已有研究人員開發了一系列基于深度學習的視覺/慣性組合導航技術,并已取得一定成果。
使用深度學習神經網絡替換傳統算法中的個別模塊是較為直接的算法設計思路,如利用深度學習神經網絡實現里程計前端中的特征點識別與匹配。Detone等提出了SuperPoint算法,該算法首先使用虛擬三維物體的角點作為初始訓練集,并將特征點提取網絡在此數據集上進行訓練;對經過訓練的網絡在真實場景訓練集中進行檢測得到自標注點,并將標注有自標注點的真實場景圖像進行仿射變化得到匹配的自標注點對,從而得到了最終的訓練集;隨后使用對稱設計的特征點識別網絡,將特征提取器讀入的原始圖像經過多層反卷積層轉換為特征點響應圖像,響應區域為相鄰幀圖像匹配特征點的位置。幾何對應網絡(Geometric Correspondence Network,GCN)則是利用相對位姿標簽值構建的幾何誤差作為匹配特征點空間位置估計值的約束;隨后使用多視覺幾何模型結合低層特征提取前端網絡得到的匹配特征點,求解載體的運動信息。此類低層特征提取前端易于與傳統實時定位與建圖系統相結合,并且較為輕量,可植入嵌入式平臺進行實時解算。
另一種思路是使用深度學習神經網絡實現從原始數據到導航參數的整個轉化過程。Kendall團隊基于圖像識別網絡GoogleNet開發了一種基于單張圖像信息的絕對位姿估計網絡PoseNet。首先,搭建絕對位姿回歸數據集,配合高精度姿態捕捉設備,為單目相機拍攝的每一幀圖像標注絕對位姿標簽值;然后使用多層全連接層替換GoogleNet的多個softmax層,并構成位姿回歸器,回歸器的輸出維度與使用歐拉角表示的位姿維數相同;通過長時間的訓練,PoseNet能較為準確地將訓練數據集圖像投影為對應位姿標簽,然而沒有額外的幾何約束,網絡收斂較為困難。Wang等在位姿估計網絡中引入相鄰幀圖像信息,構建基于深度學習的單目視覺里程計Deep VO,為了能夠同時處理相鄰兩幀圖像的信息,將Flow Net網絡的主體作為視覺特征提取器,并使用輸入窗口大于1的長短時記憶(Long Short Term Memory,LSTM)網絡聯合時間軸上相鄰多幀圖像的高層信息,以此來優化里程計短時間內的估計精度;最后使用全連接層綜合圖像高層信息,并轉化為相鄰幀圖像的相對位姿估計值。實驗結果表明,Deep VO相對于早期基于模型的視覺里程計LIBVISO性能具有一定提升,同時與同類型算法相比,也有明顯的性能提升。
與基于模型的視覺/慣性組合導航技術類似,為了提高導航算法的自主性與抗干擾能力,研究人員在基于深度學習的視覺導航技術中引入慣導數據,并為其設計單獨的網絡來提取有用的數據特征。牛津大學的Clark團隊設計了一種端對端的視覺/慣性組合里程計網絡VINet,使用雙向光流提取網絡Flow Net-Corr提取相鄰幀圖像的高層特征,使用單層全連接層對圖像高層特征進行壓縮,并使用多節點LSTM網絡處理兩幀圖像間的慣性信息;隨后將兩種數據的高層特征在單維度上進行結合,構成視覺/慣性信息融合特征;最后使用全連接層將融合特征投影至SE(3)空間中,得到相對位姿估計值。VINet在道路與無人機數據中都顯示出較為優秀的性能,同時為基于深度學習的組合導航技術提供了基礎模板。
陳昶昊于2019年提出了基于注意力模型的視覺/慣性組合里程計網絡Attention-based VIO,網絡的基本框架與VINet類似,但視覺特征提取器使用更為輕量的Flow Netsimple卷積層,以此來提高網絡運行效率。借鑒自然語言處理領域的注意力機制,使用soft attention和hard attention兩種注意力網絡剔除融合特征中的噪聲高層特征,從而加快訓練收斂,提高網絡性能。表2匯總了基于機器學習的視覺/慣性組合導航技術的主要研究成果。
在國內,清華大學、上海交通大學、浙江大學、哈爾濱工程大學、國防科技大學、北京航空航天大學、北京理工大學、南京航空航天大學、西北工業大學、電子科技大學、中國科學院自動化研究所等高校和科研機構的多個研究團隊近年來在慣性/視覺組合導航領域開展了系統性的研究工作,取得了諸多研究成果。
2 視覺/慣性組合導航技術的典型應用及發展趨勢
視覺/慣性組合導航技術是機器人、計算機視覺、導航等領域的研究熱點,在國民經濟和國防建設中取得了廣泛的應用,但也面臨著諸多挑戰。
2.1 視覺/慣性組合導航技術的典型應用
國民經濟領域,在無人機、無人車、機器人、現實增強、高精度地圖等應用的推動下,視覺/慣性組合導航技術取得了快速發展。例如Google的Tango項目和無人車項目、微軟的Hololens項目、蘋果的ARKit項目、百度無人車項目、大疆無人機項目、高德高精度地圖項目等大型應用項目都成立了視覺/慣性組合導航技術相關的研究小組,極大地促進了視覺/慣性組合導航技術在國民經濟中的應用。以Google的Tango項目為例,其導航定位核心算法是基于濾波框架的MSCKF算法;微軟的Hololens項目則是以KinectFusion為基礎的SLAM算法。
國防建設領域,由于視覺/慣性組合導航技術不依賴外部人造設施,在衛星拒止環境中有著重要的應用價值。例如美國陸軍研發的一種新型聯合精確空投系統采用慣性/視覺組合導航技術解決高精度定位問題。嫦娥三號巡視器也采用視覺與慣性組合實現定姿定位。李豐陽等總結了視覺/慣性組合導航技術在地面、空中、水下和深空等多種場景中的應用。
2.2 視覺/慣性組合導航技術的未來發展趨勢
視覺/慣性組合導航技術取得了廣泛的應用,但在復雜條件下的可靠性還有待加強,其未來的發展主要體現在以下4個方向:
1)提升信息源的質量。首先是提升慣性器件(特別是基于微機電系統(Micro-Electro-Mechanical System,MEMS)工藝的微慣性器件)的零偏穩定性和環境適應性等性能指標;其次是提升視覺傳感器的光照動態適應性、快速運動適應性等性能指標;此外,還可以引入更多的傳感器,如磁傳感器、超聲波傳感器、激光雷達等,提升復雜條件下組合導航系統的綜合性能。
2)提升信息融合算法的水平。視覺和慣性信息各有特點,不同條件下信息的質量也不盡相同,需要設計智能的信息融合機制。目前的算法大多是基于靜態場景假設,但在實際應用中,場景都有一定的動態性,動態環境下的視覺/慣性組合導航是提升復雜條件下導航可靠性的重要研究方向。此外,目前基于濾波的信息融合算法仍然存在濾波狀態發散或者狀態收斂到錯誤值的情況,需要對系統的可觀性進行分析,提升狀態估計的一致性。對于優化框架的信息融合算法,目前的預積分理論還有待完善,特別是在SLAM的地圖管理中刪除關鍵幀時,與關鍵幀相關的積分增量及對應的協方差需要合并,目前還缺乏協方差合并方法;而且基于BA的優化算法計算量較大,對于大尺度的閉環優化,計算耗時太久,存在錯失閉環優化的情況,急需提升BA算法的效率。
3)發展新的導航理論。大自然中許多動物具有驚人的導航本領,例如:北極燕鷗每年往返于相距數萬km遠的南北兩極地區;信鴿能夠在距離飼養巢穴數百km遠的地方順利返回巢穴。模仿和借鑒動物導航本領的仿生導航技術逐漸成為了導航領域研究的熱點。胡小平等對仿生導航技術進行了全面的總結。此外,隨著多平臺集群應用的普及,利用組網編隊中平臺間導航信息交互來提升位置、速度、姿態等參數估計精度的協同導航技術方興未艾。謝啟龍等從無人機、機器人、無人水下潛航器、導彈4個應用層面梳理了協同導航技術的國內外發展現狀。
4)擴充導航系統的功能。目前的視覺/慣性組合導航側重于導航參數的估計,對于引導和控制等關注較少。隨著機器學習技術在視覺/慣性組合導航領域的應用,可以將機器學習在環境理解、避障檢測、引導控制等方面的成果融入到導航系統中。
