一種基于顯著圖生成和顯著密度最大化的高效子窗口搜索目標檢測新方法
相關(guān)鏈接： 中國安全網(wǎng) 中國質(zhì)量網(wǎng) 中國論文網(wǎng) 中國資訊網(wǎng)
作者：鄭曉敏
為了在航空偵察圖像中快速檢測目標，本文提出了基于顯著圖生成和顯著密度最大化的高效子窗口搜索目標檢測方法。顯著圖生成算法可以增強圖像中感興趣目標的信息，使目標區(qū)域顯著，同時，利用基于Itti模型生成的顯著圖，圖像尺寸經(jīng)過降采樣后變小，也降低了后續(xù)目標定位的計算量。然后在顯著圖上，結(jié)合顯著密度最大化，采用高效子窗口搜索( Efficient Subwindow Search，ESS)實現(xiàn)快速目標定位。高效子窗口搜索可以實現(xiàn)圖像中任意目標的全局定位，以線性時間收斂于全局最優(yōu)解，定位效果等同于滑動窗口窮盡搜索。其基本思想為將搜索直接導(dǎo)向識別最高評估分數(shù)的區(qū)域，而忽略其他可能的搜索空間。分支定界框架允許這樣一個目標指向的搜索，在搜索早期就丟棄大多數(shù)參數(shù)空間。傳統(tǒng)的高效子窗口搜索方法在轎車目標檢測領(lǐng)域的應(yīng)用非常成功，但也存在一些不足，比如：1）當圖像中不存在目標時，高效子窗口搜索需要大量的迭代才能收斂到最優(yōu)解，執(zhí)行非常慢；2）傳統(tǒng)高效子窗口搜索方法采用SVM( Support Vector Machine)進行分類。SVM是圖像的二值分類，用于目標定位時存在如下不足：訓練分布不等于測試分布；即使針對訓練樣本，也不能保證定位目標；需要大量訓練圖像。在目標定位之前，首先進行圖像分類，可解決第一個問題，然后通過設(shè)計合適的顯著圖最大化策略，避免SVM用于目標定位時的不足。本文主要研究目標檢測問題，圖像分類問題將另外撰述。
1 基于Itti模型的顯著圖生成方法
在眾多視覺注意計算模型中，Itti模型是當前大量研究的理論依據(jù)。本文提出的目標定位方法就是以Itti模型為基礎(chǔ)實現(xiàn)的。Itti模型通過提取底層特征，包括顏色( color)特征、亮度(intensity)特征和方向(ori-entation)特征，以特征整合理論(feature integration the-ory)為根據(jù)，利用中央一周圍(center-surround)算子和高斯金字塔做差運算，得到顏色、亮度和方向每個特征的關(guān)注圖（conspicuity maps），把得到的關(guān)注圖歸一化，并融合后得到圖像的顯著圖( saliencv map)。顯著圖是一幅表明圖像各點的顯著性的二維圖像，顯著圖中的點和輸入圖像的像素有拓撲上的對應(yīng)關(guān)系。在生成視覺顯著圖后，Itti模型根據(jù)顯著圖各點的顯著性，采用WTA( Winner-Take-All)方法和禁止返回機制得到關(guān)注點的轉(zhuǎn)移過程FOA( Focus of Attention)，相當于依次提取出感興趣目標的位置。通過實驗發(fā)現(xiàn)，這種方法雖然可以獲取圖像中的各個目標位置，但是每次關(guān)注點的轉(zhuǎn)移耗時都超過100 ms，難以滿足實時目標檢測的需求。因此，本文沒有采用這種目標定位方法，只是利用了Itti模型生成的顯著圖。這也是Itti模型的本質(zhì)特點，即把顏色、亮度和方向3個方面的關(guān)注圖線性合并后得到視覺顯著圖。
2基于高效子窗口搜索的目標定位方法
高效子窗口搜索方法的核心是分支定界搜索和質(zhì)量定界函數(shù)。ESS方法獨立于評估函數(shù)的形狀，可以確保找到全局最優(yōu)解。同時，ESS方法依賴于分支定界搜索，而不是窮盡搜索，故計算速度非�？�。
2.1分支定界搜索
ESS方法是基于變換空間的自適應(yīng)子劃分的識別算法( RASr)，它將參數(shù)空間分層劃分為分解的子集，同時保持在所有的子集上最大化質(zhì)量定界，在搜索早期就丟棄大多數(shù)參數(shù)空間。對ESS方法，參數(shù)空間是圖像中所有可能的矩形。通過上下左右坐標(t，b，ι，r)來表示。為了同時評估許多矩形，擴展矩形表示為矩形集[T，B，L，R]，T=[tlow，thigh]等，見圖1。
對每個矩形集，計算評估函數(shù)可以獲得的最高：數(shù)的邊界。當發(fā)現(xiàn)一個矩形的分數(shù)至少和所有剩余可選區(qū)域的上界一樣好時，ESS停止計算。如果能得到足夠緊的定界函數(shù)，ESS方法保證收斂到全局最優(yōu)解。在每次迭代中，ESS方法以最好優(yōu)先的方式組織搜索可選集合，總是檢查看上去更有希望得到高評估界限的矩形集，然后將可選集沿著最大坐標間隔劃分為兩半，形成兩個小一點的可選集。
2.2質(zhì)量定界函數(shù)
3基于顯著圖生成和高效子窗口搜索的目標定位方法
為了找到顯著目標，首先生成圖像的顯著圖，然后從顯著圖中檢測或分割目標。雖然已經(jīng)有許多工作進行顯著檢測，然而圖像中顯著目標的精確定位還沒有解決，因為獲得的顯著圖通常含有噪聲，且目標不完整。從雜波背景中找到顯著區(qū)域，并完整地提取目標非常困難。當前大部分方法采用窮盡搜索方法尋找包含固定比例顯著點（如所有顯著點的95%）的最小區(qū)域來定位顯著目標。主要難點在于很難預(yù)先知道顯著區(qū)域所包含的顯著像素量，因為它依賴于顯著目標的大小和形狀，以及背景雜波的強弱。
理想情況下，對給定的顯著圖，目標是從圖像中尋找最小尺寸的包圍盒，同時包含圖像中大部分顯著性。本文將這個問題提煉為最大顯著密度( Maximum Sali-ency Density，MSD)區(qū)域定位問題。作為一個新的顯著目標定位方法，在顯著目標大小和它包含的顯著性之間實現(xiàn)折中，可以容忍顯著圖含有噪聲及目標信息不完整。新方法不需要任何關(guān)于目標的先驗知識，通過包圍盒搜索能夠自適應(yīng)于目標的大小和形狀。為了避免窮盡搜索不同大小和不同位置的所有可能的包圍盒，采用分支定界搜索快速找到全局最優(yōu)包圍盒。
3.1 基于顯著密度最大化的目標搜索方法
3.1.1 顯著密度最大化( MSD)
分析顯著圖后發(fā)現(xiàn)，顯著目標區(qū)域的平均密度比顯著圖中任何區(qū)域的密度都要大很多。為了描述這個特征，同時克服現(xiàn)有搜索方法的不足，可以從顯著圖中尋找最大顯著密度的區(qū)域。將目標函數(shù)f（w）(w*=argmaxf(W)）)設(shè)計如下
式中，C是正的常數(shù)，用來平衡area（w）大小的影響。第一項主要用于讓w包含更多的顯著像素，第二項主要保證讓檢測的區(qū)域具有高的顯著密度。因此，最大化f(w)時平衡了目標大小和目標包含顯著性之間的關(guān)系。
3.1.2 顯著密度最大化的ESS搜索實現(xiàn)
窮盡搜索w*非常耗時，可采用ESS方法來加速實現(xiàn)。原始的分支定界搜索要求圖像中有正值和負值，而本文的顯著圖僅包含正值。因此，需要設(shè)計新的分支定界搜索方法，核心是目標函數(shù)上界的估計。令W={w1，…，wi}表示區(qū)域集合，其中wi∈I。假定存在兩個區(qū)域Wmin(Wmin∈W)和Wmax(Wmax∈W)，使得對任何Wi∈W，Wmin∈Wi∈Wmax，則利用Wmin和Wmax可以將最優(yōu)解的上界估計f(W)表示為
最后，基于顯著密度最大化的ESS搜索方法概括總結(jié)如下。
3.2 目標檢測算法步驟
通過前文的分析，可以將目標檢測算法主要概括為以下3步：
1)對輸入圖像生成顯著圖，由于Itti顯著圖生成過程耗時少，且目標區(qū)域顯著，故采用Itti模型實現(xiàn)顯著圖生成；
2)設(shè)計顯著密度最大化的目標函數(shù)，目標函數(shù)最大時，既能讓檢測窗口包含更多的顯著像素，又可以保證讓檢測的區(qū)域具有高的顯著密度；
3)在顯著圖上，基于ESS搜索實現(xiàn)顯著密度最大區(qū)域檢測，主要是設(shè)計目標函數(shù)的質(zhì)量定界函數(shù)，然后利用分支定界算法確定顯著密度最大區(qū)域。
4仿真實驗
為了檢驗?zāi)繕藱z測算法的性能，本文制作了航空偵察圖像目標檢測數(shù)據(jù)庫，共含有531幅航空偵察圖像。每幅圖像中的目標都用一個矩形包圍盒標記，作為基準標記。通過比較目標檢測算法的定位結(jié)果和基準標記之間的關(guān)系，可以評估目標檢測算法的優(yōu)劣。本部分主要進行4個實驗：1）定位精度分析；2）定位速度分析；3）計算耗時和檢測概率分析；4）定位錯誤的典型原因分析。仿真實驗時軟硬件配置為臺式兼容機，硬件性能為3.4 GHz CPU，4G內(nèi)存；操作系統(tǒng)為WinXP SP3 32位，開發(fā)軟件為Matlab7.6和VS2008。
4.1定位精度分析
定位精度分析主要與窮盡搜索方法( ExhausitiveSearch,ES)和最大顯著區(qū)域方法( Maximum SaliencyRegion，MSR)進行比較。對單幅圖像的檢測效果采用F-measure值的大小來判斷目標檢測結(jié)果是否正確，具體公式為
式中：P是檢測準確率(precision)，表示檢測矩形包圍盒檢測準確的像素占檢測矩形包圍盒的比例；R是檢測完備率( recall)，表示檢測矩形包圍盒檢測準確的像素占基準包圍盒像素的比例。如果Fmejsure≥60%，則認為檢測到目標，否則檢測失敗。
4.1.1 比較MSD與ES方法
圖2a為3種顯著圖算法Itti，GB和IG的結(jié)果。Itti算法和GB算法考慮了局部特征的對比性，圖像的顯著區(qū)域在顯著圖中表現(xiàn)較好，但是顯著區(qū)域的輪廓不明顯。而IG算法考慮了圖像全局持征，顯著區(qū)域保留了較完整的輪廓，但是顯著度較低。ES方法中λ設(shè)置為95%，閾值選擇利用Otsu方法自動得到。圖2b、圖2d是ES方法和MSD方法的檢測結(jié)果。由于95%是一個任意值，與顯著圖包含的內(nèi)容沒有關(guān)系，ES方法檢測結(jié)果包含了一大部分非顯著區(qū)域。MSD方法中，在顯著密度的約束下，小的顯著區(qū)域從主要顯著區(qū)域分離。因此，除了圖2d第3幅圖像，MSD方法比ES方法上更精確。由于IG顯著圖生成的原因，導(dǎo)致MSD方法沒有檢測到目標（圖2d第3幅），ES方法檢測目標范圍過大（圖2b第3幅），其中，藍框為檢測結(jié)果，紅框為基準。圖3的客觀檢測指標也驗證了這一結(jié)論。由于是兩幅圖像的檢測指標取平均，IG顯著圖上MSD方法的檢測結(jié)果反而沒有ES方法的檢測結(jié)果好，但是其他兩幅顯著圖上，MSD方法的檢測效果明顯優(yōu)于ES方法的檢測效果。為了檢驗A值對ES方法的影響，圖4測試了不同A值的檢測結(jié)果。當A變小時，檢測精度提高，但是檢測完備率下降。
4.1.2 比較MSD與MSR方法
與ES方法一樣，MSR方法中顯著圖的閾值利用Otsu方法自動得到。MSD方法中的C分別設(shè)置為2000，8000和11 500。圖3顯示了比較結(jié)果，其中每組圖上都標記了平均的precision，recall和F-measure值。在IG顯著圖上，MSR都沒有檢測到目標，而MSD方法在一幅圖像上檢測到目標，MSD方法得到更好的F-measure和rec all。對其他兩幅顯著圖，MSD方法更是明顯優(yōu)于MSR方法。總之，3種不同類型顯著圖的檢測結(jié)果表明，MSD方法改善了F-measure，同時保持高檢測精度。
4.1.3 MSD方法中參數(shù)C對檢測結(jié)果的影響
為了評估MSD方法中僅有的參數(shù)C對檢測結(jié)果的影響，圖5中測試了不同C值。當C取值小時，檢測結(jié)果對密度變化明顯，易于收斂到高平均密度的小區(qū)域。當C取值大時，整個算法收斂到具有較低平均密度的大區(qū)域。圖Sa中，在區(qū)間[1000，4000]對C的選擇不敏感。圖5b中，當C在區(qū)間[8000，20 000]時，F(xiàn)-measure值在67.1%之上。圖6c中，當C在區(qū)間[18 000，20 000]時，F(xiàn)-measure在49%之上。從這些結(jié)果可以發(fā)現(xiàn)，Itti顯著圖比IG和GB顯著圖存在較小的最優(yōu)C值。
基于上述定位精度的分析，主要結(jié)論包括：1）3種檢測算法（ES，MSR和MSD）中，MSD方法明顯最優(yōu)；2）針對MSD方法，Itti和GB顯著圖上的檢測效果最好，IG顯著圖上檢測效果稍差；3）對同一個顯著圖算法存在一個大概的最優(yōu)C值范圍。這啟發(fā)我們可以將C值初始化在這個大概范圍，然后再微調(diào)得到最優(yōu)檢測結(jié)果。
4.2定位速度分析
ES方法理論上搜索速度比較慢。對于圖像尺寸大小為400×300的圖像，窮盡滑動窗口方法平均需要超過100億次的窗口評估。MSR方法理論上和MSD方法的速度一樣，都比較快，但是由于MSR方法的質(zhì)量上界函數(shù)簡單，窗口內(nèi)只有一個求和運算，計算量應(yīng)該比MSD方法小。實際中，將不同顯著圖以及不同搜索方法的時間復(fù)雜度用計算機的實際運行時間表示。為了克眼隨機性，對每個定位算法都運行10次，然后取平均，見表1。很明顯，實際運行效果和理論分析完全一致。
結(jié)合定位精度分析，基于Itti顯著圖的MSD方法檢測時間(28 ms)較短，且檢測精度最高。因此，本文的航空偵察圖像目標快速定位方法確定為基于Itti顯著圖和顯著密度最大化的高效子窗口搜索目標檢測方法，簡稱為Itti-MSD-ESS方法。
4.3計算耗時和檢測概率分析
為了評估Itti-MSD-ESS方法對多幅圖像的檢測耗時和檢測概率，設(shè)計了目標檢測演示軟件，對目標檢測數(shù)據(jù)庫中的所有圖像進行檢測分析。圖6中大部分圖像的檢測結(jié)果都大于F-measure閾值0.6，檢測概率為83.2%。另外，目標檢測平均耗時36.6 ms。這個數(shù)據(jù)和定位速度分析部分稍有偏差，原因在于通�；叶葓D像的目標定位耗時20 ms，彩色圖像的平均耗時40 ms，而數(shù)據(jù)庫的圖像包含有彩色圖像和灰度圖像。
4.4定位錯誤的典型原因分析
為了更好地評估Itti-MSD-ESS方法的檢測魯棒性，專門從目標檢測數(shù)據(jù)庫中選取檢測錯誤或檢測精度不理想的圖像進行了分析，為定位算法的改進指明方向。圖7中（藍框為檢測結(jié)果，其他顏色框為基準）第1列的目標檢測錯誤，原因在于顯著圖生成結(jié)果中沿岸區(qū)域更加顯著。可以通過多目標檢測的方法或者采用其他顯著圖方法解決這個問題，見圖8。
圖7中第2列的目標檢測精度不夠理想，這是大部分顯著圖方法固有的不足。顯著圖生成后，艦船天線區(qū)域幾乎就消失了，因此目標檢測不夠完整。解決的辦法是生成的顯著圖要能夠保留目標區(qū)域清晰的邊緣，同時目標區(qū)域還要整體顯著，這是我們下一步的研究方向。
圖7中第3列和第4列是多目標檢測的情況，默認只檢測到一個目標。因此，只要檢測到多目標中任何一個，都認為是檢測到目標，當然也可以修改目標數(shù)量參數(shù)，檢測到多個目標，見圖9a。圖7中第4列有5個目標，默認將兩個目標當成一個目標檢測，可以修改C參數(shù)，實現(xiàn)只檢測其中一個目標，見圖9b，當然也可以修改目標數(shù)量參數(shù)，實現(xiàn)多目標檢測，見圖9c，由于顯著圖中最右邊的目標變得很弱，因此沒有檢測到，反而誤將左邊第2個目標區(qū)分成兩個目標。
5 結(jié)束語
本文首先對Itti，GB和IG 3種顯著圖進行了對比分析，認為Itti顯著圖生成過程耗時最少，且目標區(qū)域顯著，適宜作為快速目標定位的前期處理手段。然后，在顯著圖上，提出了基于顯著密度最大化和高效子窗口搜索的目標定位方法。主要思想是將顯著目標檢測變?yōu)轱@著密度最大化問題，接著利用分支定界搜索算法以全局最優(yōu)的方式搜索密度最大的位置，本質(zhì)上就是顯著密度最大化和ESS方法的結(jié)合，而ESS方法的核心就是分支定界搜索方案，該方法不需要顯著目標的先驗知識，能自適應(yīng)于不同尺寸和形狀的目標，而且受雜波背景影響較小。實驗部分主要從定位精度、定位時間兩個方面，比較分析了ES，MSR和MSD 3種目
標定位方法，結(jié)果表明，MSD方法不僅耗時少，而且目標定位精度高。最后，結(jié)合顯著圖分析，將復(fù)雜航空偵察圖像目標快速定位方法確定為基于Itti顯著圖和顯著密度最大化的高效子窗口搜索目標定位方法。
總之，無論是從檢測精度還是從檢測概率的角度提出的Itti-MSD-ESS方法都可以實現(xiàn)航空偵察圖像的快速目標檢測。然而，正如定位錯誤的典型原因分析所指出，為了進一步提高檢測精度，還需要研究更加完善且快速的顯著圖生成方法。
6摘要：為了實現(xiàn)航空偵察圖像的快速目標檢測，提出了基于顯著圖生成和顯著密度最大化的高效子窗口搜索目標檢測方法。顯著圖生成采用Itti模型，設(shè)計了基于顯著密度最大化的高效子窗口搜索方法，主要思想是將顯著目標檢測變?yōu)轱@著密度最大化問題，并利用分支定界搜索算法以全局最優(yōu)的方式搜索密度最大的位置。實驗表明，新方法可以實現(xiàn)快速目標檢測，目標檢測平均耗時為36.6 ms，目標檢測概率為83.2%。
