小型無人機(jī)立體視覺目標(biāo)追蹤定位方法(自動(dòng)化)
相關(guān)鏈接： 中國安全網(wǎng) 中國質(zhì)量網(wǎng) 中國論文網(wǎng) 中國資訊網(wǎng)
小型無人機(jī)立體視覺目標(biāo)追蹤定位方法(自動(dòng)化)
王亭亭1， 蔡志浩1，2， 王英勛1，2
（1．北京航卒航天大學(xué)，北京100191；2．飛行器控制一體化技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京100191）
摘要：小型無人機(jī)在無衛(wèi)星導(dǎo)航條件下使用的需求日益強(qiáng)烈，采用立體視覺方法可滿足無人機(jī)在復(fù)雜環(huán)境中的目標(biāo)檢測(cè)、跟蹤與定位。研究了雙目立體視覺系統(tǒng)標(biāo)定、特征點(diǎn)檢測(cè)提取與匹配、雙目測(cè)距等技術(shù)，實(shí)現(xiàn)了對(duì)圖像中的指定目標(biāo)進(jìn)行追蹤，同時(shí)實(shí)現(xiàn)對(duì)目標(biāo)的定位，得到目標(biāo)的位置，視覺系統(tǒng)標(biāo)定誤差在0.2個(gè)像素點(diǎn)以內(nèi)，目標(biāo)定位誤差小于10cm。以地面機(jī)器人作為追蹤目標(biāo)進(jìn)行算法測(cè)試驗(yàn)證，在目標(biāo)消失時(shí)間較短的情況下，能夠達(dá)到較好的追蹤效果。
關(guān)鍵詞：無人機(jī)；雙目視覺；目標(biāo)追蹤；攝像機(jī)標(biāo)定；CamShift算法
中圖分類號(hào)：V249.1 文章編號(hào)：1671 - 637X( 2016) 05 - 0006 - 05
0 引言
近年來小型無人機(jī)向自主化、智能化的方向迅速發(fā)展，應(yīng)用范圍越來越廣，尤其是在無衛(wèi)星導(dǎo)航條件下的使用需求日漸強(qiáng)烈 目標(biāo)監(jiān)控是無人機(jī)的重要應(yīng)用之一，采用立體視覺方法可實(shí)現(xiàn)無人機(jī)在復(fù)雜環(huán)境中的H標(biāo)跟蹤與定位。通過搭建雙目視覺平臺(tái)，采用適當(dāng)?shù)哪繕?biāo)跟蹤算法可以有效地獲取目標(biāo)的距離和位置，目標(biāo)的運(yùn)動(dòng)方向、軌跡，大小等信息。雙目視覺技術(shù)利用在不同視角F獲得的感知圖像，根據(jù)三角測(cè)量原理計(jì)算圖像像素間的位置偏差，進(jìn)而獲取場景的三維信息。文獻(xiàn)[2]利用TLD目標(biāo)跟蹤算法實(shí)現(xiàn)了對(duì)單運(yùn)動(dòng)目標(biāo)的較好跟蹤；利用單目攝像頭實(shí)現(xiàn)了小型無人機(jī)對(duì)地面目標(biāo)的自動(dòng)識(shí)別跟蹤，并給出了控制策略；利用雙目視覺實(shí)現(xiàn)了六旋翼對(duì)目標(biāo)的跟蹤。目前，目標(biāo)追蹤問題主要表現(xiàn)于如何能在復(fù)雜背景、光照變化、類似顏色物體、遮擋物等因素存在的情況下抓住目標(biāo)的特點(diǎn)，進(jìn)行有效跟蹤，并保證實(shí)時(shí)性。鑒于以上內(nèi)容，本文利用雙目立體視覺進(jìn)行目標(biāo)追蹤的研究具有重要的意義。
1雙目視覺系統(tǒng)標(biāo)定
雙目攝像機(jī)的準(zhǔn)確標(biāo)定是計(jì)算機(jī)視覺準(zhǔn)確實(shí)現(xiàn)的基礎(chǔ)和前提。目前攝像機(jī)標(biāo)定方法有很多種，主要可分為攝像機(jī)傳統(tǒng)標(biāo)定方法和自標(biāo)定方法。本文采用具有較好的魯棒性和實(shí)用性的張氏標(biāo)定法進(jìn)行攝像機(jī)標(biāo)定。鑒于普通的COMS網(wǎng)絡(luò)攝像頭感光單元邏輯間距或者感光芯片的尺寸一般不得知，在標(biāo)定結(jié)果判定上難度較大，因此，主要通過標(biāo)定結(jié)果和理想?yún)?shù)的對(duì)比分析來判斷標(biāo)定結(jié)果的合理性。
1.1雙目標(biāo)定的原理
雙目立體視覺系統(tǒng)可通過左右或者上下兩個(gè)攝像頭排列放置得到，通過對(duì)同一物體的觀察，獲得不同視角下的圖像。將攝像機(jī)模型簡化為最簡單的針孔模型，雙攝像機(jī)成像模型如圖1所示。
圖中：P為空間一點(diǎn)；O1，Dr分別為左右兩個(gè)攝像機(jī)的光心；I1，I r為左右攝像機(jī)的成像平面；P1，Pr分別為P在左右兩個(gè)攝像機(jī)平面上的投影點(diǎn)。
雙目標(biāo)定的結(jié)果是得到攝像機(jī)的內(nèi)外參數(shù)，以及兩個(gè)攝像機(jī)之間的關(guān)系。在標(biāo)定過程中主要用到圖像坐標(biāo)系、攝像機(jī)坐標(biāo)系和世界坐標(biāo)系3種坐標(biāo)系。圖像坐標(biāo)系中像素單位(u，v)和物理單位（x，y）兩種表示方法的關(guān)系為
式中：R為旋轉(zhuǎn)矩陣；T為平移向量。
1.2標(biāo)定優(yōu)化與結(jié)果分析
圖2所示為采用2個(gè)Life Cam網(wǎng)絡(luò)攝像頭，攝像頭幀速率30幀／s，分辨率640×480，水平視場角500，垂直視場角400，攝像頭光心相距約10 cm，搭建雙目平臺(tái)。以一張8 x7的棋盤格作為標(biāo)定物，定標(biāo)板每個(gè)棋盤格大小為25 mm x25 mm，試驗(yàn)選取了36幅有效圖像。
圖3顯示了圖像相對(duì)于攝像頭的位置關(guān)系。首先通過單目標(biāo)定得到左右兩個(gè)攝像機(jī)的內(nèi)參矩陣，然后通過立體標(biāo)定，得到右攝像機(jī)相對(duì)于左攝像機(jī)的旋轉(zhuǎn)矩陣R r和平移向量T r。
根據(jù)雙目視覺平臺(tái)中攝像機(jī)與飛機(jī)機(jī)體的位置關(guān)系，為簡化計(jì)算，在試驗(yàn)中使世界坐標(biāo)系與左攝像機(jī)坐標(biāo)系重合，則左攝像機(jī)相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣R1為3x3單位陣，平移向量T1為[0 0 0]T;右攝像機(jī)相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣為R r平移向量為T r。
通過對(duì)80幅試驗(yàn)圖標(biāo)定后的誤差進(jìn)行分析，得出如果圖像偏轉(zhuǎn)過大或過小，或者圖像放置較遠(yuǎn)或過偏，標(biāo)定誤差會(huì)很大，對(duì)此應(yīng)保證標(biāo)定板偏轉(zhuǎn)角在200~700之間，且成像至少大概占圖像的二分之一并盡量靠中間。在實(shí)際選取圖像時(shí)，可以分別分析其誤差圖，對(duì)誤差過大的圖像改變窗口大小，重新標(biāo)定，對(duì)于始終有較大誤差的圖像可以剔除，以此實(shí)現(xiàn)優(yōu)化。圖4所示為單個(gè)相機(jī)的重投影誤差分布圖，根據(jù)
標(biāo)定的結(jié)果如下。
左攝像頭內(nèi)參矩陣為
內(nèi)參矩陣所得光心點(diǎn)坐標(biāo)在(320 m，240 m)附近，右攝像頭相對(duì)于左攝像頭的旋轉(zhuǎn)矩陣接近單位陣，基本符合預(yù)期標(biāo)定，從平移向量第一個(gè)參數(shù)可以看出，左右攝像頭之間的中心距為- 99. 908 13 mm，基本符合標(biāo)定結(jié)果。
2特征提取與匹配
特征點(diǎn)匹配是立體視覺第二大任務(wù)，意在建立兩幅圖像之間點(diǎn)到點(diǎn)的匹配關(guān)系。立體匹配的實(shí)質(zhì)是求最優(yōu)解，目前比較常用的匹配算法有基于特征的立體匹配算法，基于全局的立體匹配算法和基于局部的立體匹配算法。為了保證算法實(shí)時(shí)性，采用匹配速度較快的基于特征的立體匹配算法，并采用SURF算法實(shí)現(xiàn)特征點(diǎn)提取。
SURF特征提取算法是在SIFT算法的基礎(chǔ)上提出的，在繼承了SIFT算法魯棒性的同時(shí)，提高了精度且匹配速度快，有很強(qiáng)的實(shí)時(shí)性。SURF算法主要步驟為：建立積分圖像建立尺度空間
快速Hessian極值點(diǎn)檢測(cè)Haar小波建立描述算子通過距離進(jìn)行匹配。在進(jìn)行特征點(diǎn)匹配誤差分析時(shí)，將視差的計(jì)算結(jié)果分成獨(dú)立的塊，定量測(cè)評(píng)每塊對(duì)匹配精度的影響。目前立體匹配算法大部分以此作為衡量算法優(yōu)劣的標(biāo)準(zhǔn)。
利用SURF算法提取感興趣區(qū)域的目標(biāo)，通過匹配可以得到幾組分別來自左右兩幅圖像的坐標(biāo)點(diǎn)，每組點(diǎn)的組成為(u1，v2，u2，v2)，其中感興趣區(qū)域由目標(biāo)追蹤部分給出，以降低時(shí)間開銷。根據(jù)前面的討論，已知圖像點(diǎn)坐標(biāo)與世界點(diǎn)坐標(biāo)的關(guān)系為
采用Kalman濾波對(duì)所得位置數(shù)據(jù)進(jìn)行處理，進(jìn)而得到目標(biāo)相對(duì)飛機(jī)的位置。
3 目標(biāo)追蹤
目前常用的目標(biāo)追蹤算法有光流法、MeanShift算法、CamShift算法、Kalman濾波和粒子濾波等。每種算法均有自己的優(yōu)勢(shì)和劣勢(shì)，需要根據(jù)實(shí)際應(yīng)用采用合適的算法，或者對(duì)不同算法進(jìn)行結(jié)合。比如將粒子濾波和均值漂移法相結(jié)合，或借助Kalman濾波算法比較強(qiáng)的魯棒性，通過Kalman濾波算法估計(jì)物體的運(yùn)動(dòng)信息，以此解決遮擋和類似顏色物體存在造成的跟蹤問題。如果物體運(yùn)動(dòng)隨機(jī)性較大，則Kalman濾波算法會(huì)失效。因此，還需要結(jié)合其他算法或者研究新的追蹤算法，同時(shí)還要保證實(shí)時(shí)性的要求。
本文采用改進(jìn)CamShift算法進(jìn)行目標(biāo)跟蹤�；镜�CamShift算法流程如圖5所示。
在此基礎(chǔ)上主要進(jìn)行了如下改進(jìn)。
1)圖像的預(yù)處理和顏色閾值的選取。
試驗(yàn)所用網(wǎng)絡(luò)攝像頭白帶真彩處理功能，且右攝像頭拍攝的圖像對(duì)比度比左攝像頭的高。因此，提高左攝像頭圖像的對(duì)比度并分析目標(biāo)在兩幅圖像的HSV下H分量的直方圖，選取最大值作為閾值。
2)運(yùn)動(dòng)的預(yù)測(cè)降低相似目標(biāo)干擾。
假設(shè)目標(biāo)連續(xù)3次位置變化中方向和運(yùn)動(dòng)速度均不變，用近2次的目標(biāo)位置信息可估計(jì)下一次目標(biāo)可能的位置，在一定程度上可濾除視野中與目標(biāo)顏色一致的靜止干擾物。
至此，本文的3大環(huán)節(jié)已基本實(shí)現(xiàn)。圖6所示為整個(gè)算法的實(shí)現(xiàn)示意圖。其中，虛線框內(nèi)的雙目標(biāo)定部分為離線實(shí)現(xiàn)，其余均為在線實(shí)現(xiàn)。
4結(jié)果分析
如圖7所示，采用MTI-28A53G352，STM32( CortexM3)，2軸無刷電機(jī)云臺(tái)和雙目視覺平臺(tái)搭建基于雙目視覺平臺(tái)的目標(biāo)追蹤系統(tǒng)，IMU的輸出可以控制云臺(tái)轉(zhuǎn)動(dòng)。
如圖8、圖9所示，在室內(nèi)環(huán)境下，地面目標(biāo)以0. 33
m/s的速度做定速無規(guī)則運(yùn)動(dòng)，在攝像頭固定和運(yùn)動(dòng)兩
種情況下做試驗(yàn)。
圖8實(shí)際測(cè)量地面機(jī)器人中心點(diǎn)與攝像頭的距離
約86 cm，機(jī)器人直徑約30 cm。保持地面機(jī)器人不
動(dòng)，攝像頭在原位置做近似俯仰運(yùn)動(dòng)，測(cè)得的機(jī)器人位
置信息如表1所示。將解算的位置信息與實(shí)際測(cè)量數(shù)
據(jù)對(duì)比，平均誤差約10 cm。
圖9是對(duì)地面機(jī)器人的追蹤。從左到右、從上到下分別選取了第9幀、第13幀、第25幀、第33幀、第40幀、第54幀、第70幀、第75幀、第80幀、第84幀、第108幀、第135幀的左攝像機(jī)拍到的圖像，追蹤效果
良好，而且即便是地面機(jī)器人從視野中消失，只要能重回視野，依然能追蹤得上。當(dāng)攝像頭與目標(biāo)相對(duì)速度低于1.5 m/s，距離在3m以內(nèi)時(shí)，跟蹤效果良好。
5結(jié)論
本文將雙目視覺和目標(biāo)追蹤相結(jié)合，在對(duì)特定目標(biāo)追蹤的同時(shí)，能夠得到目標(biāo)的位置信息。當(dāng)小型無人機(jī)與目標(biāo)相對(duì)速度小于1.2 m/s，距離小于3m時(shí)，跟蹤效果良好，滿足小型無人機(jī)在室內(nèi)環(huán)境下對(duì)雙目視覺系統(tǒng)的要求，同時(shí)如果在該方案基礎(chǔ)上進(jìn)行相應(yīng)改動(dòng)可以實(shí)現(xiàn)低于3m的飛行高度測(cè)量以及避障，這對(duì)小型無人機(jī)在無GPS的室內(nèi)環(huán)境的應(yīng)用具有很大的意義。
