關(guān)于 改進(jìn)的多特征融合目標(biāo)跟蹤算法的研究
相關(guān)鏈接： 中國(guó)安全網(wǎng) 中國(guó)質(zhì)量網(wǎng) 中國(guó)論文網(wǎng) 中國(guó)資訊網(wǎng)
作者：張毅
近年來(lái)，出現(xiàn)了大量基于多特征融合的跟蹤算法，其主要區(qū)別在于特征提取和融合策略不同。在特征提取上，傳統(tǒng)的顏色直方圖被廣泛用于目標(biāo)特征提取中，但傳統(tǒng)的顏色直方圖對(duì)灰度分布相對(duì)集中的顏色分量描述能力較弱；梯度方向直方圖( HOG)是描述目標(biāo)邊緣特征的有效算子，提出了一種融合目標(biāo)顏色直方圖及梯度信息的目標(biāo)表示方法，該算法在處理背景顏色和目標(biāo)顏色分布相近的目標(biāo)跟蹤問(wèn)題上具有較強(qiáng)的魯棒性，但由于邊緣特征不具有方向和尺度不變性，在跟蹤過(guò)程中對(duì)復(fù)雜背景的適應(yīng)性不強(qiáng)；局部二值模式( LBP)是一種有效的紋理描述算子，由于其具有紋理識(shí)別能力強(qiáng)、對(duì)灰度單調(diào)變化不敏感、計(jì)算復(fù)雜度小等優(yōu)點(diǎn)，已廣泛應(yīng)用于紋理分類、圖像檢索、人臉識(shí)別等領(lǐng)域。在融合策略上，用觀測(cè)概率的加
權(quán)和作為目標(biāo)狀態(tài)的觀測(cè)似然，獲得了較好的跟蹤效果，這種加性融合的結(jié)果雖然在一定程度上抑制了噪聲，但它并不能提高融合后似然函數(shù)的判別能力；采用乘性融合方式對(duì)目標(biāo)進(jìn)行多特征觀測(cè)，它們假設(shè)觀測(cè)概率獨(dú)立從而很容易地構(gòu)造出聯(lián)合似然，但在一定程度上放大了噪聲；提出了一種基于不確定性度量的多特征融合跟蹤算法，融合的結(jié)果既突出了狀態(tài)后驗(yàn)分布中目標(biāo)真實(shí)狀態(tài)對(duì)應(yīng)的峰值，又對(duì)噪聲不敏感，該方法利用傳統(tǒng)的顏色直方圖和加權(quán)梯度方向直方圖分別提取目標(biāo)顏色和邊緣特征，但如上所述傳統(tǒng)顏色直方圖和梯度方向直方圖都各自存在缺點(diǎn)，難以實(shí)現(xiàn)復(fù)雜環(huán)境下魯棒的跟蹤。
針對(duì)中對(duì)目標(biāo)描述存在的缺點(diǎn)，本文提出了一種改進(jìn)的多特征融合目標(biāo)跟蹤算法，采用自適應(yīng)直方圖提取目標(biāo)顏色特征，采用LBP算子表示目標(biāo)紋理特征，提出的融合策略，在粒子濾波框架下對(duì)兩種特征進(jìn)行融合，該融合策略可以利用特征的不確定性自適應(yīng)地調(diào)節(jié)不同特征對(duì)跟蹤結(jié)果的貢獻(xiàn)程度。實(shí)驗(yàn)結(jié)果比較表明，本文算法增強(qiáng)了在復(fù)雜環(huán)境下跟蹤的魯棒性。
1 粒子濾波與特征不確定性
1.1粒子濾波
粒子濾波以貝葉斯原理為基礎(chǔ)，基本思想叫是利用一組帶有相關(guān)權(quán)值的粒子來(lái)刻畫密度函數(shù)。粒子濾波算法利用蒙特卡羅方法從狀態(tài)的后驗(yàn)概率密度函數(shù)p（xo:k／z1：k）抽取N個(gè)獨(dú)立同分布的樣本，狀態(tài)的后驗(yàn)概率密度用經(jīng)驗(yàn)分布逼近為
然而通常狀態(tài)的后驗(yàn)概率密度是未知的，這時(shí)需要從一個(gè)容易采樣的重要性分布函數(shù)q（xo：/z1:k-1）獨(dú)立抽取N個(gè)樣本{x(i)o:k;i=1，2，…，N}，狀態(tài)的后驗(yàn)概率密度逼近為
k時(shí)刻的系統(tǒng)狀態(tài)估計(jì)為
后驗(yàn)概率密度可以近似為
1.2特征的不確定性
目標(biāo)跟蹤過(guò)程中，針對(duì)不同的場(chǎng)景，每種特征對(duì)目標(biāo)位置估計(jì)的準(zhǔn)確度是不一樣的，為了描述每種特征在目標(biāo)跟蹤過(guò)程中的不確定性，提出了一種自適應(yīng)的特征不確定性度量，即
式中：β+1表示t+l時(shí)刻第i種特征的不確定性；σt是時(shí)刻t所有粒子空間位置的方差，表示粒子空間分布的分散程度，σt= tr（Σ），Σ表示粒子兩個(gè)位置坐標(biāo)的協(xié)方差矩陣，σt越大，粒子的空間位置越分散；pi為似然函數(shù)，即觀測(cè)概率值，為第i種特征對(duì)應(yīng)的目標(biāo)模板與候選模板的Bhattacharyya系數(shù)；日(pit)是時(shí)刻t第i種特征下所有粒子觀測(cè)概率值的熵，表示觀測(cè)概率值在粒子上的分散程度。在信息論中，熵是不確定性的量度
式中，H(pt)值越小，表示目標(biāo)第i種特征對(duì)目標(biāo)位置估計(jì)的準(zhǔn)確度越高。
由式(5)可知，特征的不確定性既包含了粒子的空間位置信息，又表征了似然函數(shù)pi的尖銳程度。對(duì)粒子的空間分布而言，目標(biāo)的位置是由各粒子加權(quán)求和估計(jì)得到，t時(shí)刻，粒子分布越集中，σt越小，不確定性越小，反之不確定性越大。而對(duì)似然函數(shù)來(lái)說(shuō)，似然函數(shù)的尖銳程度越高，即觀測(cè)概率值僅集中在少數(shù)幾個(gè)粒子上，說(shuō)明該特征的鑒別能力越強(qiáng)，此時(shí)不確定性越小，反之亦然。
2本文改進(jìn)算法
本節(jié)針對(duì)中提出的融合算法在目標(biāo)描述上加以改進(jìn)，提出一種自適應(yīng)直方圖的方法提取目標(biāo)顏色特征，采用LBP算子提取目標(biāo)紋理特征，在復(fù)雜環(huán)境下有更強(qiáng)的適應(yīng)性。
2.1特征提取
本節(jié)分別給出目標(biāo)顏色、紋理特征的提取方法，以及兩種特征目標(biāo)模型與候選模型之間相似度融合的計(jì)算方法。
2.1.1 顏色特征
顏色是目標(biāo)最主要的特征之一，被廣泛用于目標(biāo)特征描述。傳統(tǒng)顏色直方圖將整個(gè)顏色空間進(jìn)行均勻剖分，弱化了直方圖對(duì)目標(biāo)顏色分布的描述能力。對(duì)此，提出的顏色模型的基礎(chǔ)上，提出一種自適應(yīng)直方圖的方法，即對(duì)圖像灰度分布相對(duì)集中的區(qū)域劃分較多的直方圖區(qū)間，而對(duì)灰度分布相對(duì)分散的區(qū)域劃分較少的直方圖區(qū)間，增強(qiáng)了對(duì)目標(biāo)顏色分布的描述能力。
如圖1所示，m為累積直方圖曲線。y軸表示歸一化的均勻劃分的像素的顏色值刻度，x軸表示自適應(yīng)非均勻劃分的顏色值刻度，這里以4個(gè)區(qū)間的直方圖為例。首先將y軸均勻劃分為4個(gè)區(qū)間[0，A1]，[A1，A2]，[A2，A3]，[A3，A4]，通過(guò)累積直方圖曲線m將A1，42，A3，A4映射到x軸上的B1，B2，B3，B4，得到直方圖劃分對(duì)應(yīng)的刻度。
當(dāng)輸入首幀圖像時(shí)，利用上述方法確定刻度，B1，B2，B3，B4，即可得到自適應(yīng)非均勻劃分的特征區(qū)間[0，B1]，[B1，B2]，[B2+B3]，[B3，B4]，區(qū)間大小表征了顏色分布的集中程度。在后續(xù)的跟蹤中，根據(jù)確定的直方圖區(qū)間刻度對(duì)目標(biāo)模板進(jìn)行直方圖統(tǒng)計(jì)，即可得到自適應(yīng)非均勻劃分的顏色直方圖，即自適應(yīng)顏色直方圖。
如圖2所示，圖2a和圖2b分別為傳統(tǒng)顏色直方圖和自適應(yīng)顏色直方圖在8x8x2的RGB空間對(duì)顏色分布的劃分結(jié)果。
從圖2可以看出，兩者對(duì)顏色空間的劃分結(jié)果是不同的。傳統(tǒng)顏色直方圖將顏色空間進(jìn)行均勻劃分，而自適應(yīng)顏色直方圖對(duì)顏色分布相對(duì)集中的區(qū)域，劃分較多的“窗格”，即顏色區(qū)間（也就是說(shuō)，每個(gè)“窗格”空間相對(duì)較小），以突出該區(qū)域的顏色分布，從而能更準(zhǔn)確地描述目標(biāo)顏色特征。相反，在顏色分布相對(duì)分散的區(qū)域，劃分較少的“窗格”。為了更加直觀地說(shuō)明問(wèn)題，給出二維空間描述，如圖3所示。
由圖3可以看出，灰度值集中在95~191，傳統(tǒng)顏色直方圖將灰度均勻劃分，而自適應(yīng)顏色直方圖將95~191的灰度區(qū)間劃分多個(gè)區(qū)間，而將0~95，191~ 255之間劃分較少的區(qū)間。
自適應(yīng)顏色直方圖根據(jù)目標(biāo)的顏色分布，對(duì)顏色空間進(jìn)行非均勻劃分，使相似度計(jì)算更加準(zhǔn)確，增強(qiáng)了對(duì)目標(biāo)顏色分布的描述能力。這里，將傳統(tǒng)顏色直方圖與紋理特征融合的方法稱為傳統(tǒng)方法，而本文所提出的方法與傳統(tǒng)方法相比具有明顯的優(yōu)勢(shì)，這一點(diǎn)將在后面的實(shí)驗(yàn)結(jié)果中給出比較。
2.1.2紋理特征
在復(fù)雜環(huán)境中，單一的顏色特征信息中沒(méi)有包含任何運(yùn)動(dòng)和形狀信息，容易受光照變化和背景干擾的影響，而紋理特征能有效地適應(yīng)光照變化，且具有旋轉(zhuǎn)不變性以及局部灰度不變性等優(yōu)點(diǎn)，因此將紋理特征作為目標(biāo)的第二個(gè)跟蹤特征。如圖4所示，基本的LBP算子是一個(gè)固定大小為3x3的矩形塊，以中心像素的灰度值為閾值，將其鄰域的8個(gè)灰度值與閾值相比較，計(jì)算其LBP值為
式中，s（x）是一個(gè)二值函數(shù)。
例如 :Pattern為 “ 10100011 ”,LLBP = 1 +2 +32 + 128 = 163 。
2.2直方圖相似性度量
對(duì)于目標(biāo)的多特征描述，如果直接將目標(biāo)的多個(gè)特征組合在一起，那么隨著特征空間維數(shù)的增加，運(yùn)算量會(huì)大大增加，很難實(shí)現(xiàn)實(shí)時(shí)跟蹤。因此，本文分別建立自適應(yīng)顏色直方圖子模型與紋理直方圖子模型來(lái)描述目標(biāo)，以降低特征維數(shù)。每一種特征子模型對(duì)應(yīng)目標(biāo)模板與候選模板：目標(biāo)模板，Q={qu}a=1,…N；候選模板，P={pu}a=1…N。在得到各特征子模型的候選模板與目標(biāo)模板直方圖后，需要計(jì)算二者之間的相似度，本文采用計(jì)算Bhattacharyya系數(shù)作為特征的相似性度量方法，即
式中，p越大，表示候選模板與目標(biāo)模板越相似。Bhat-tacharyya距離
d越小，表示候選模板與目標(biāo)模板越相似，對(duì)應(yīng)粒子的權(quán)值越大，反之越小。
2.3特征融合
根據(jù)中提出的融合策略，在假設(shè)兩種觀測(cè)特征是條件獨(dú)立的情況下，將每種特征的觀測(cè)概率值加上一個(gè)正比于該特征不確定性的均勻分布，做歸一化處理后，再取乘積，表達(dá)式為
式中：β1，β2分別表示顏色和紋理特征對(duì)應(yīng)的不確定性；U(x)是一個(gè)離散的均勻分布，設(shè)粒子數(shù)為N，則U(x)=1/N。這里的觀測(cè)概率值即特征目標(biāo)模板與候選模板之間的相似度。
該融合策略相比傳統(tǒng)加性融合與乘性融合，使觀測(cè)概率分布變得更尖銳，提高了后驗(yàn)概率密度的置信度，增強(qiáng)了對(duì)目標(biāo)的鑒別能力，從而使跟蹤結(jié)果更加可靠。
2.4算法步驟
綜上所述，本文提出的改進(jìn)多特征融合目標(biāo)跟蹤算法步驟如下所述。
1)初始化。輸入視頻，手動(dòng)選取感興趣的目標(biāo)區(qū)域，對(duì)目標(biāo)模板圖像分別提取顏色、紋理特征直方圖qo，qo，從先驗(yàn)分布中抽取N個(gè)初始粒子xioNi=1權(quán)值均設(shè)為{ωio}Ni= 1/N。
2)預(yù)測(cè)。根據(jù)上一幀圖像得到的目標(biāo)狀態(tài)xi-1，由狀態(tài)轉(zhuǎn)移方程xt=Axi-1+Ni預(yù)測(cè)當(dāng)前幀目標(biāo)狀態(tài)xi。
3)計(jì)算σt和兩種特征的概率熵二選定以橢圓長(zhǎng)短軸為長(zhǎng)和寬的矩形框，由矩形框內(nèi)粒子位置坐標(biāo)計(jì)算σt，由式(9)分別計(jì)算兩種特征目標(biāo)模板與候選模板之間的相似度，即似然函數(shù)p（Z1/X），p（z2/x），從而得到兩種特征的概率熵H(p1t)，H( p2t)。
4)計(jì)算特征不確定性。由3）中得到的σt和H(pl)，H(p2t)根據(jù)式(5)分別計(jì)算兩種特征不確定性β1，β2。
5)更新。由式(12)得到特征融合后似然函數(shù)p（z1，z2/X），再由ωik=ωik-1·p(z1，z2/X)更新當(dāng)前幀粒子權(quán)值，并做歸一化處理。
6)重采樣。根據(jù)融合后粒子權(quán)值分布決定是否重采樣。
7)轉(zhuǎn)步驟2），進(jìn)行下一幀的跟蹤。
算法流程如圖5所示。
3實(shí)驗(yàn)仿真
為了測(cè)試本文改進(jìn)算法的有效性，對(duì)大量視頻進(jìn)行實(shí)驗(yàn)測(cè)試，這里選取了部分代表性的標(biāo)準(zhǔn)測(cè)試視頻序列David3，Jogging，Woman和Bolt進(jìn)行實(shí)驗(yàn)結(jié)果展示。所有算法均在聯(lián)想Core 13-3240 CPU @3.40 GHz，3.39 GHz，3.47 GB內(nèi)存的臺(tái)式機(jī)上使用Matlab7.9.0( R2009b)編程實(shí)現(xiàn)。實(shí)驗(yàn)中，粒子數(shù)目設(shè)為Ⅳ=200，均勻分布U(x)=1／N。
為了驗(yàn)證本文算法對(duì)目標(biāo)描述的有效性，在保證融合策略一致的情況下，本文采用提出的算法、融合顏色直方圖和紋理特征的傳統(tǒng)方法作為對(duì)比；為了驗(yàn)證本文算法在融合策略上的魯棒性，在保證目標(biāo)描述一致的情況下，本文采用加性融合算法、乘性融合算法作為對(duì)比；此外，在跟蹤性能上，采用CBWH（修正的背景加權(quán)）跟蹤算法作為對(duì)比。圖6是部分跟蹤結(jié)果，每一幀中不同算法的跟蹤結(jié)果分別采用不同顏色的實(shí)線矩形框表示，左上角為圖像幀序號(hào)。
3.1定性分析
1) David3序列。圖6a為David3部分跟蹤結(jié)果，在該序列中，背景變化較大。從第87幀可以看出，本文算法在目標(biāo)有部分被遮擋的情況下仍能很好地捕捉到目標(biāo)，表明本文算法具有較強(qiáng)的魯棒性。從第115和198幀可以看出，算法及CBWH都出現(xiàn)跟丟情況，加性與乘性融合算法雖然能夠成功跟蹤目標(biāo)，但本文算法對(duì)目標(biāo)的背景變化適應(yīng)性最好。
2 ) Jogging序列。圖6b為Jogging部分跟蹤結(jié)果，就該序列而言，由于目標(biāo)局部背景中存在另一個(gè)運(yùn)動(dòng)目標(biāo)且背景顏色變化較大，使目標(biāo)的邊緣和顏色特征受到干擾，但由于紋理特征能有效地鑒別目標(biāo)，本文算法的跟蹤性能并未受到較大影響。由第288幀可以看出，本文算法比其他5種算法有更強(qiáng)的適應(yīng)性。
3) Woman序列。圖6c為Woman部分跟蹤結(jié)果，該測(cè)試序列為室外人體跟蹤視頻，目的是測(cè)試復(fù)雜背景變化下算法的跟蹤性能。首先，受攝像機(jī)遠(yuǎn)距離架設(shè)的影響，顏色信息受到較大衰減，紋理特征起到了較好的補(bǔ)充，而且背景中存在電線桿、樹(shù)木等強(qiáng)干擾物體。此外，目標(biāo)還受樹(shù)木遮擋的影響，使CBWH算法幾乎不能正常跟蹤，從第233和592幀可知，本文改進(jìn)算法跟蹤效果最佳，具有較好的魯棒性。
4) Bolt序列。圖6d給出各算法在多人場(chǎng)景中的跟蹤結(jié)果，其中目標(biāo)經(jīng)歷了背景顏色變化、相似目標(biāo)干擾等，使顏色特征可分性降低，其權(quán)值相應(yīng)減小，而紋理特征權(quán)值增加，從而克服背景干擾的影響。從第347幀可以看出，算法和CBWH算法跟蹤失效，加性融合算法、乘性融合算法及本文算法仍能很好地跟蹤，但本文算法跟蹤性能最佳。
3.2定量分析
最后，從跟蹤目標(biāo)中心位置誤差和算法實(shí)時(shí)性兩個(gè)方面定量分析本文算法的魯棒性。
3.2.1 中心位置誤差比較
中心位置誤差表示目標(biāo)中心位置與真實(shí)目標(biāo)中心位置之間的誤差，其值越小跟蹤精度越高，反之越低。本文采用以上具有代表性的圖像序列，比較6種算法得到的目標(biāo)每一幀的中心位置誤差，結(jié)果如圖7所示�？梢钥闯觯疚乃惴ㄏ啾绕渌�5種算法，中心位置誤差始終保持較低水平。
表1所示為統(tǒng)計(jì)的平均中心位置誤差值，和乘性、加性融合算法相比，本文算法具有更準(zhǔn)確的跟蹤精度，與算法相比，本文算法跟蹤性能明顯提高。此外，本文算法明顯比傳統(tǒng)方法的跟蹤性能要好得多，這說(shuō)明本文提出的自適應(yīng)顏色直方圖方法比傳統(tǒng)的顏色直方圖方法更能準(zhǔn)確地描述目標(biāo)顏色特征。以上實(shí)驗(yàn)結(jié)果表明，本文提出的算法對(duì)于復(fù)雜背景下的目標(biāo)跟蹤具有更強(qiáng)的魯棒性。
3.2.2實(shí)時(shí)性
最后，在算法實(shí)時(shí)性方面，由于基于多特征融合的跟蹤算法需要同時(shí)提取和處理多種特征，因此運(yùn)行效率上比基于單一特征的低。本文算法的時(shí)間開(kāi)銷主要集中在各個(gè)特征的提取和相似度的計(jì)算上，而它們又直接與目標(biāo)的大小和粒子數(shù)選取的多少有關(guān)。在未對(duì)算法做任何優(yōu)化的情況下，經(jīng)測(cè)試，取200個(gè)粒子，本文算法在仿真條件下能夠達(dá)到平均11幀／s的運(yùn)行速度。如果對(duì)算法進(jìn)行一定的優(yōu)化，跟蹤速度還能進(jìn)一步得到提升，這說(shuō)明，本文算法在目標(biāo)跟蹤過(guò)程中有較好的實(shí)時(shí)性。
4結(jié)論
本文為克服單一的顏色特征而導(dǎo)致跟蹤算法魯棒性不高的缺點(diǎn)，提出一種改進(jìn)的多特征融合目標(biāo)跟蹤算法，在粒子濾波框架下采用顏色、紋理兩個(gè)具有一定互補(bǔ)性的特征進(jìn)行多特征融合跟蹤。顏色特征采用自適應(yīng)直方圖模型，紋理特征采用LBP算子直方圖模型。利用特征不確定性自適應(yīng)調(diào)節(jié)特征對(duì)跟蹤結(jié)果的貢獻(xiàn)，對(duì)復(fù)雜場(chǎng)景的目標(biāo)跟蹤具有良好的效果。實(shí)驗(yàn)表明，本文算法對(duì)背景干擾（包括相似顏色、干擾邊緣）、部分遮擋均具有較高的魯棒性。與傳統(tǒng)的加性融合、乘性融合算法相比對(duì)復(fù)雜背景有更好的適應(yīng)能力。
5摘要：針對(duì)僅用單一顏色特征導(dǎo)致跟蹤算法魯棒性不高的問(wèn)題，提出了一種改進(jìn)的多特征融合目標(biāo)跟蹤算法。為了獲得準(zhǔn)確的目標(biāo)顏色模型，提出了一種自適應(yīng)選取目標(biāo)顏色直方圖的方法，同時(shí)利用LBP算子建立目標(biāo)紋理特征模型，增強(qiáng)對(duì)目標(biāo)的表征能力。在特征融合中引入特征不確定性度量方法，自適應(yīng)調(diào)整不同特征對(duì)跟蹤結(jié)果的貢獻(xiàn)，有效地提高了傳統(tǒng)粒子濾波算法的魯棒性。實(shí)驗(yàn)結(jié)果表明，融合后的算法比傳統(tǒng)的加性融合與乘性融合算法有更強(qiáng)
的魯棒性，能實(shí)現(xiàn)復(fù)雜場(chǎng)景下的目標(biāo)跟蹤，有效地描述目標(biāo)。
