相關(guān)鏈接: 中國(guó)安全網(wǎng) 中國(guó)質(zhì)量網(wǎng) 中國(guó)論文網(wǎng) 中國(guó)資訊網(wǎng)
作者:李丹
互聯(lián)網(wǎng)的飛速發(fā)展和普及使得網(wǎng)絡(luò)服務(wù)由主要提供文本和圖像的Web多媒體內(nèi)容逐漸轉(zhuǎn)變?yōu)樘峁┮粢曨l等含有更多豐富信息的多媒體內(nèi)容,同時(shí)流媒體技術(shù)也隨之流行起來(lái)并應(yīng)用于各式各樣的多媒體服務(wù)中,如視頻點(diǎn)播、直播、視頻會(huì)議、遠(yuǎn)程教學(xué)、網(wǎng)絡(luò)視頻等。但是流媒體對(duì)象的數(shù)據(jù)量比文本內(nèi)容要大很多,需要大量的存儲(chǔ)空間以及更高要求的網(wǎng)絡(luò)帶寬,由此產(chǎn)生的流媒體傳輸時(shí)延會(huì)嚴(yán)重影響用戶(hù)體驗(yàn)質(zhì)量。為了減少用戶(hù)訪(fǎng)問(wèn)的響應(yīng)時(shí)間,研究者提出采用代理緩存技術(shù),將用戶(hù)需要的內(nèi)容放置在離用戶(hù)最近的地方。
由于流媒體對(duì)象數(shù)據(jù)量巨大,采用全文緩存的方法很難取得理想的緩存效果,而前綴緩存策略雖然可以節(jié)省緩存空間,也可以有效縮短用戶(hù)訪(fǎng)問(wèn)的啟動(dòng)時(shí)延,但隨著用戶(hù)訪(fǎng)問(wèn)時(shí)進(jìn)行交互式操作的增多,前綴緩存策略的效果將會(huì)變差。為了提高緩存策略的適應(yīng)性,研究者提出了均勻分段和指數(shù)分段等分段策略,其基本思想是將流媒體內(nèi)容沿著播放時(shí)間分成若干個(gè)片段,并以此作為存儲(chǔ)和置換的基本單元,緩存粒度的減小給緩存算法帶來(lái)了更大的靈活性,并且也在一定程度上提高了緩存效率。
基于分段的緩存策略雖然提高了緩存性能,但是精細(xì)的分段粒度也增加了系統(tǒng)需要管理的片段數(shù)量和緩存置換次數(shù)。傳統(tǒng)的均勻分段和指數(shù)分段方法僅按照簡(jiǎn)單的函數(shù)關(guān)系來(lái)對(duì)流媒體進(jìn)行分段,沒(méi)有充分地考慮到流媒體自身的一些特性,例如外部流行度和內(nèi)部流行度等,因此其分段效果在很多情況下并不理想。參考文獻(xiàn)[9]的研究表明,如果能針對(duì)流媒體的一些特性對(duì)其分段策略進(jìn)行優(yōu)化設(shè)計(jì),能有效地提高分段的性能。本文在現(xiàn)有分段緩存研究的基礎(chǔ)上,根據(jù)命中率和存儲(chǔ)的流媒體片段流行度之間的關(guān)系,提出了一種基于最佳分段點(diǎn)估計(jì)的流媒體非均勻分段方法,該方法首先統(tǒng)計(jì)出進(jìn)行全文緩存時(shí)的緩存臨界外部流行度以及每個(gè)流媒體對(duì)象的內(nèi)部流行度,并對(duì)該臨界外部流行度與最佳分段點(diǎn)流行度之商隨存儲(chǔ)占比的變化曲線(xiàn)進(jìn)行擬合,然后對(duì)最佳分段點(diǎn)進(jìn)行估計(jì),并將流媒體對(duì)象以最佳分段點(diǎn)為分割點(diǎn)分成兩個(gè)片段。仿真結(jié)果表明,與其他分段策略相比,本文提出的策略在相同命中率的前提下可以顯著減少總分段數(shù)量,并且在總分段數(shù)相同的前提下可以獲得更好的命中率。
2 流媒體流行度特點(diǎn)
緩存空間是有限的,如何利用有限的空間使緩存的流媒體片段價(jià)值最大是分段算法的中心思想,而流行度是衡量流媒體價(jià)值的重要指標(biāo)。流行度被廣泛用于描述流媒體的流行程度,常常使用流媒體文件被訪(fǎng)問(wèn)的次數(shù)作為流行度的定義。根據(jù)流行度所描述范圍的不同,進(jìn)一步細(xì)分為外部流行度和內(nèi)部流行度。外部流行度是指流媒體對(duì)象之間的流行程度,描述的是流媒體文件的整體流行度大小,而內(nèi)部流行度是流媒體對(duì)象不同播放時(shí)間片段上的流行程度。流媒體對(duì)象之間的外部流行度會(huì)有明顯的差異,每個(gè)流媒體的內(nèi)部流行度也會(huì)因用戶(hù)的個(gè)人喜好產(chǎn)生不均勻的分布。本文以2013年1-5月的中國(guó)電信股份有限公司廣東分公司(以下簡(jiǎn)稱(chēng)廣東電信)IPTV系統(tǒng)的點(diǎn)播訪(fǎng)問(wèn)日志為依據(jù),分別對(duì)以上兩種流行度的特點(diǎn)進(jìn)行了分析,并研究了各個(gè)存儲(chǔ)占比情況下的最佳分段點(diǎn)。
2.1 流媒體流行度分布
流媒體的外部流行度常使用Zipf分布或廣延指數(shù)分布進(jìn)行刻畫(huà),用戶(hù)的訪(fǎng)問(wèn)具有很強(qiáng)的傾向性,少數(shù)的熱門(mén)影片往往占有大量的用戶(hù)請(qǐng)求,也就意味著大多數(shù)的低流行度影片是不會(huì)被緩存的,對(duì)于這部分影片一視同仁地細(xì)分段顯然會(huì)大大增加無(wú)謂的分段管理成本。
研究者還發(fā)現(xiàn),近一半的用戶(hù)請(qǐng)求不會(huì)播放完整個(gè)影片,而是在影片結(jié)尾之前就提前終止請(qǐng)求,因此同一流媒體內(nèi)部不同區(qū)段之間也存在著流行度的差異,用戶(hù)常常會(huì)通過(guò)觀(guān)看影片的初始部分,以確定是否有興趣繼續(xù)觀(guān)看,于是造成影片的內(nèi)部流行度會(huì)隨著播放時(shí)間而逐漸遞減。以每分鐘一個(gè)區(qū)段計(jì)算影片的內(nèi)部流行度.400部影片內(nèi)部流行度與播放時(shí)間的關(guān)系如圖1所示,影片起始部分的流行度會(huì)有一個(gè)快速下降的過(guò)程,這是用戶(hù)的瀏覽行為造成的,而后流行度以較平穩(wěn)的趨勢(shì)逐漸減小。由圖1可以看出,內(nèi)部流行度是非均勻的,也就意味著外部流行度高的流媒體對(duì)象也很可能會(huì)有內(nèi)部流行度非常低的部分,而且每個(gè)影片的內(nèi)部流行度的變化也有所差別,傳統(tǒng)的分段算法,例如均勻分段,往往不依據(jù)或者只單純依據(jù)外部流行度的高低對(duì)影片進(jìn)行分段而忽略了每個(gè)影片的內(nèi)部流行度變化,具有一定的局限性,不能充分利用流媒體對(duì)象的流行度信息。
2.2存儲(chǔ)占比與最佳分段點(diǎn)
不同流媒體對(duì)象之間的外部流行度和流媒體對(duì)象的內(nèi)部流行度都存在著訪(fǎng)問(wèn)頻度的差異,由于存儲(chǔ)空間有限,每段流媒體通常可以分為存儲(chǔ)部分和非存儲(chǔ)部分。假設(shè)可以對(duì)流媒體進(jìn)行無(wú)限精細(xì)度的分段,本文進(jìn)一步分析了在不同存儲(chǔ)占比下,命中率最高時(shí)視頻是否被存儲(chǔ)的分界點(diǎn)流行度下限,如圖2所示。由圖2可知,最佳分段點(diǎn)上的流行度下限隨著存儲(chǔ)占比的加大而逐漸變小,這是由于存儲(chǔ)占比越大,緩存空間也越大,可以緩存更多的影片內(nèi)容,從而使得臨界點(diǎn)處的影片分段流行度變得越小。
根據(jù)以上對(duì)流媒體流行度的分析,發(fā)現(xiàn)由于用戶(hù)請(qǐng)求有著比較強(qiáng)的傾向性,影片之間以及影片內(nèi)部的流行度分布常常是不均勻的,內(nèi)部流行度有著隨播放時(shí)間增加逐漸降低的特點(diǎn),而流行度又是影響命中率的直接因素,如果能夠直接根據(jù)分段點(diǎn)下限值將影片分成兩段,那么就能從根本上提高命中率,并且減少分段數(shù)量。
3基于最佳分段點(diǎn)估計(jì)的流媒體分段策略
由于高流行度的視頻往往占整個(gè)視頻總數(shù)的少部分,且視頻之間的流行度具有較大差異,視頻內(nèi)部的流行度也具有分布不均的特點(diǎn),因此盡量緩存流行度高的片段是提高命中率和緩存利用率的有效方法。從理論上分析了緩存的流媒體片段流行度與命中率之間的關(guān)系以及將影片分成兩段的分段點(diǎn)下限值的估計(jì)方法,并在此基礎(chǔ)上提出了一種基于流媒體對(duì)象內(nèi)部分段點(diǎn)估計(jì)的新分段策略。
3.1 緩存的片段流行度對(duì)命中率的影響
字節(jié)命中率(byte hit ratio,BHR)是指緩存中命中的數(shù)據(jù)量與用戶(hù)請(qǐng)求的總數(shù)據(jù)量的比值,表示如下:
其中,CBR代表緩存命中的數(shù)據(jù)量,UTD代表請(qǐng)求的總數(shù)據(jù)量。
設(shè)流媒體對(duì)象內(nèi)部流行度的計(jì)算基本粒度為Rb byte,即統(tǒng)計(jì)流媒體對(duì)象分割為Rb byte片段時(shí)的每個(gè)片段的流行度。設(shè)為所有視頻的基本粒度片段的集合,其中,Ⅳ為緩存視頻總數(shù),純?yōu)榈趇個(gè)視頻的第i個(gè)片段,ri為第i個(gè)視頻的片段總數(shù)。當(dāng)存儲(chǔ)空間有限時(shí),只能存儲(chǔ)部分視頻片段,設(shè)中7為緩存中的視頻片段集合,則:
假設(shè)視頻的內(nèi)部流行度P(cpq)在短暫的時(shí)間里是不變的,那么也是不變的,則
越大,BHR就越大,即緩存中的視頻片段流行度越大,字節(jié)命中率越大。
3.2最佳分段點(diǎn)的估計(jì)模型
本文按視頻的流行度大小排序進(jìn)行緩存,設(shè)所有視頻片段的集合為,其中Ⅳ為視頻總數(shù),尬為第i個(gè)視頻的片段數(shù),c為第i個(gè)視頻的第J個(gè)片段。緩存空間為C時(shí),被緩存的視頻片段集合依然設(shè)為西’,那么不被緩存的片段集合則為
。
若不對(duì)視頻進(jìn)行分段,即全文緩存的情況下,所有視頻集合則為,則緩存臨界點(diǎn)處的視頻外部流行度Pe滿(mǎn)足:
其中,為視頻
的長(zhǎng)度。
對(duì)視頻進(jìn)行分段,并逐漸減小分段長(zhǎng)度f(wàn),當(dāng)2減小到1個(gè)單位數(shù)據(jù)量長(zhǎng)度時(shí),緩存臨界點(diǎn)處的視頻片段流行度就是最佳的分段點(diǎn)內(nèi)部流行度下限值P:
由以上分析可知,臨界點(diǎn)處視頻片段流行度隨著分段長(zhǎng)度f(wàn)的減小逐漸向Po靠近,本文以廣東電信IPTV系統(tǒng)2013年12月的實(shí)際用戶(hù)點(diǎn)播訪(fǎng)問(wèn)日志對(duì)只和P之間的關(guān)系進(jìn)行建模分析。圖3為存儲(chǔ)占比變化時(shí),視頻進(jìn)行全文緩存時(shí)的臨界外部流行度與最佳分段點(diǎn)處的內(nèi)部流行度的比值k的變化情況。由圖3可知,k的值隨著存儲(chǔ)占比的增加呈現(xiàn)著逐漸增加的趨勢(shì),并且七與存儲(chǔ)占比的關(guān)系可以使用多項(xiàng)式分布模型進(jìn)行擬合。設(shè)存儲(chǔ)占比表述為c,則:
其中,a,a2,…,a+,為n階多項(xiàng)式模型參數(shù),可獲得最佳擬合曲線(xiàn)。
式(8)所表述的模型對(duì)不同存儲(chǔ)占比下3階和5階多項(xiàng)式的擬合情況如圖4所示,3階多項(xiàng)式的擬合決定系數(shù)R2=0.963 76,5階多項(xiàng)式的擬合決定系數(shù)R2=0.998 57,兩者的決定系數(shù)都接近1,說(shuō)明兩種多項(xiàng)式的結(jié)合效果都比較好,從圖4中也可以看出,該模型可以比較好地刻畫(huà)k與存儲(chǔ)占比之間的關(guān)系,并且多項(xiàng)式的階數(shù)越高擬合效果越好,也就是說(shuō)只要獲得視頻完整緩存情況下的臨界流行度就可以估計(jì)出最佳的分?jǐn)帱c(diǎn)處內(nèi)部流行度閾值,而完整緩存的視頻不需要進(jìn)行分段,計(jì)算復(fù)雜度較小,只要獲得所有視頻的外部流行度信息就可以很容易得到。
3.3分段策略
利用第3.2節(jié)中分析的估計(jì)內(nèi)部分段流行度閾值方法,將每個(gè)視頻分成高流行度段和低流行度段兩個(gè)片段,可以大大減少視頻總的分段數(shù)目,同時(shí)也可以保證比較好的命中率。
本文提出的分段策略分為5個(gè)步驟,具體過(guò)程如下。
(1)數(shù)據(jù)統(tǒng)計(jì)
設(shè)定一個(gè)合理的流行度統(tǒng)計(jì)周期T,并統(tǒng)計(jì)待估計(jì)周期T’的前一個(gè)周期T和前兩個(gè)周期T內(nèi)的所有視頻的內(nèi)部和外部流行度。
(2)建立內(nèi)部流行度閾值估計(jì)模型
·根據(jù)式(5)和式(6),計(jì)算得到周期T的完整緩存情況下的臨界流行度Pc2和周期T的最佳的視頻內(nèi)部分段流行度Po,。
·根據(jù)式(7),對(duì)不同存儲(chǔ)占比下的完整緩存的臨界流行度與最佳分段流行度曲線(xiàn)之商k=Pc2/Po,進(jìn)行擬合,得到參數(shù)a,a2,…,a的值。
(3)內(nèi)部流行度閾值估計(jì)
·根據(jù)式(5)計(jì)算得到周期T在完整緩存情況下的臨界流行度Pc,。
·根據(jù)式(8):_,計(jì)算得到不同存儲(chǔ)占比下周期T’的估計(jì)分段流行度Po。
(4)分段
根據(jù)估計(jì)的分段流行度Po,對(duì)周期T’內(nèi)的所有視頻分成兩個(gè)片段:內(nèi)部流行度高于Po的內(nèi)容部分為一個(gè)片段,低于P的部分為另一個(gè)片段。
(5)重新分段
由于視頻的流行度會(huì)隨著時(shí)間的推移而不斷變化,每個(gè)周期對(duì)已有舊視頻進(jìn)行檢測(cè),如果視頻現(xiàn)有的分段點(diǎn)閾值與最佳分段點(diǎn)閾值相差達(dá)到一定程度則對(duì)該視頻進(jìn)行重新分段。
本文的分段策略依據(jù)流行度對(duì)命中率的重要性,并對(duì)最佳的內(nèi)部分段點(diǎn)進(jìn)行估計(jì),充分利用了視頻的外部和內(nèi)部流行度信息,一方面直接針對(duì)命中率進(jìn)行了提高,另一方面也大大減少了總的分段數(shù)量。
4實(shí)驗(yàn)結(jié)果
本文的實(shí)驗(yàn)數(shù)據(jù)采用廣東電信IPTV系統(tǒng)2013年12月流行度前400的電影類(lèi)視頻真實(shí)點(diǎn)播訪(fǎng)問(wèn)日志,共有8 000條記錄。采用字節(jié)命中率和總分段數(shù)對(duì)分段策略進(jìn)行性能評(píng)估,其中總分段數(shù)對(duì)系統(tǒng)管理的復(fù)雜度有直接影響,而字節(jié)命中率可以有效地比較各個(gè)分段策略所消耗的網(wǎng)絡(luò)流量。仿真實(shí)驗(yàn)采用2013年12月1-15日的數(shù)據(jù)對(duì)2013年12月下半月的視頻最佳分段點(diǎn)進(jìn)行估計(jì),并對(duì)比了采用3階多項(xiàng)式估計(jì)最佳分段點(diǎn)時(shí),本文的分段策略與均勻分段策略相同總分段數(shù)下的命中率大小以及相同命中率下的總分段數(shù)大小。
4.1 相同總分段數(shù)情況下的字節(jié)命中率比較
圖5為相同總分段數(shù)情況下,不同分段策略的字節(jié)命中率比較結(jié)果。本文的分段策略命中率基本上達(dá)到了最佳分段點(diǎn)分段時(shí)的命中率,并與均勻分段策略相比明顯呈現(xiàn)出更好的命中率,這是由于最佳分段點(diǎn)估計(jì)分段策略充分利用了實(shí)際內(nèi)部和外部流行度特征,并對(duì)分段點(diǎn)處內(nèi)部流行度進(jìn)行了良好的估計(jì),不僅提高了字節(jié)命中率.還可以減少用戶(hù)訪(fǎng)問(wèn)時(shí)延并節(jié)省了網(wǎng)絡(luò)流量以及緩存空間資源。
4.2相同命中率情況下的總分段數(shù)比較
表2為相同命中率情況下,不同分段策略的總分段數(shù)大小比較結(jié)果。在各個(gè)存儲(chǔ)占比大小下,本文的分段策略的總分段數(shù)都遠(yuǎn)遠(yuǎn)低于均勻分段策略,這是由于本文的分段策略根據(jù)最佳分段點(diǎn)估計(jì)值對(duì)視頻進(jìn)行分段,每個(gè)視頻最多分為2段,在保證命中率的同時(shí)也可以獲得分段數(shù)的減少,從而節(jié)省了系統(tǒng)的分段管理成本。
5 結(jié)束語(yǔ)
本文對(duì)流媒體的內(nèi)部和外部流行度進(jìn)行了分析,并基于流行度對(duì)命中率的重要性,提出了基于最佳分段點(diǎn)估計(jì)的流媒體非均勻分段策略。通過(guò)對(duì)流行度建模分析,利用流媒體的外部流行度對(duì)最佳分段點(diǎn)的內(nèi)部流行度進(jìn)行估計(jì),將視頻最多分成兩段,達(dá)到了減少總分段數(shù)目的目的,同時(shí)由于增強(qiáng)了流媒體對(duì)象對(duì)流行度的適應(yīng)性,也獲得了較好的命中率。實(shí)驗(yàn)結(jié)果表明,對(duì)比于傳統(tǒng)的均勻分段策略,本文分段策略可以在相同總分段數(shù)的情況下提高字節(jié)命中率,節(jié)約緩存資源以及網(wǎng)絡(luò)帶寬,也可以在相同命中率情況下大大減少總分段數(shù),降低系統(tǒng)分段管理成本。本文所提方法的局限性在于估計(jì)最佳分段點(diǎn)時(shí)假設(shè)內(nèi)部和外部流行度在一定時(shí)間內(nèi)保持不變,然而實(shí)際中無(wú)論外部還是內(nèi)部流行度都是動(dòng)態(tài)變化的,因此在估計(jì)最佳分段點(diǎn)時(shí)考慮流行度變化的特點(diǎn)將有望能進(jìn)一步提高本文方法的性能。
6摘要:
針對(duì)命中率隨存儲(chǔ)的流媒體片段流行度變化的特征,提出了一種新的基于最佳分段點(diǎn)估計(jì)的流媒體非均勻分段方法,根據(jù)不同存儲(chǔ)大小下的流媒體外部分界流行度對(duì)其內(nèi)部最佳分段點(diǎn)進(jìn)行估計(jì),進(jìn)而把每個(gè)視頻分成高流行度段和低流行度段兩個(gè)片段。實(shí)驗(yàn)結(jié)果表明,與均分分段相比,該方法能減少流媒體的片段數(shù),提高緩存命中率。
上一篇:經(jīng)驗(yàn)介紹: SC—I型催化劑在煤間接液化加氫裝置的首次工業(yè)應(yīng)用
下一篇:理論與實(shí)踐: 大型風(fēng)力發(fā)電機(jī)旋轉(zhuǎn)葉片結(jié)構(gòu)動(dòng)力特性分析