相關(guān)鏈接: 中國安全網(wǎng) 中國質(zhì)量網(wǎng) 中國論文網(wǎng) 中國資訊網(wǎng)
近年來,我國所采用的軌道電路技術(shù)及移頻自動閉塞技術(shù)對機(jī)車運(yùn)行位置區(qū)段進(jìn)行定位的方法,其數(shù)據(jù)丟失現(xiàn)象時有發(fā)生,對列車運(yùn)行與調(diào)度指揮的安全可靠構(gòu)成巨大挑戰(zhàn),如2011年7月23日的溫甬動車交通事故。究其原因,普遍認(rèn)為是與外部環(huán)境對軌道電路的影響而導(dǎo)致其導(dǎo)電性改變相關(guān)。因此,CTC( Centralized Traffic Control Sys-tem,調(diào)度集中控制系統(tǒng))迫切需要可靠的、低成本的新型列車定位,以實現(xiàn)對鐵路機(jī)車的實時定位監(jiān)控。新型的列車定位系統(tǒng)不僅能夠滿足繁忙干線對列車控制系統(tǒng)定位性能的要求,且具有不依賴于地面設(shè)備的特點(diǎn),能夠降低列車控制系統(tǒng)的成本,提供性價比最優(yōu)的解決方案。
目前,國內(nèi)外以GNSS( Global Navigation Satel-lite System,全球衛(wèi)星導(dǎo)航系統(tǒng))技術(shù)為主體,輔以多種傳感器技術(shù)的機(jī)車組合導(dǎo)航技術(shù)已經(jīng)展開了廣泛的研究。國外較早就開始著手了一系列鐵路機(jī)車組合定位技術(shù)研究,如歐盟的RUNE,美國的GLLS系統(tǒng)等。在國內(nèi),張獻(xiàn)洲也做了相似的研究,將組合定位系統(tǒng)應(yīng)用于列車定位。由于GNSS接收信號容易受到隧道、山區(qū)、森林等地區(qū)遮擋、信號失鎖等問題,組合定位技術(shù)將成為鐵路機(jī)車定位的較好解決方案。
組合定位技術(shù)彌補(bǔ)了傳統(tǒng)軌道電路機(jī)車所存在的定位問題,但其也帶來了一些數(shù)據(jù)處理技術(shù)問題,主要有:
1)組合定位數(shù)據(jù)校正問題。組合定位數(shù)據(jù)往往存在一定的誤差。為補(bǔ)償或抑制INS( Inertial Navigation System,慣性導(dǎo)航系統(tǒng))和DR( Dead Re-ckoning,航位推算)的零點(diǎn)漂移誤差,使得定位數(shù)據(jù)不能準(zhǔn)確地映射到鐵路軌道線路上以供CTC進(jìn)行準(zhǔn)確地展示及安全距離預(yù)警計算等,需要對組合定位數(shù)據(jù)進(jìn)行必要的校正,F(xiàn)階段,組合定位數(shù)據(jù)矯正方法可分為基于歷史數(shù)據(jù)的校正和非歷史數(shù)據(jù)的校正兩種。
2)海量數(shù)據(jù)的處理問題。近年,隨著我國鐵路的不斷提速,鐵路機(jī)車的運(yùn)行速度越來越快。一輛以不低于200km/h速度運(yùn)行的鐵路機(jī)車,其每秒將飛出60多米。因此,CTC需要實時獲悉鐵路機(jī)車的位置,以保證鐵路機(jī)車的安全運(yùn)行。若一次鐵路機(jī)車上報的組合定位數(shù)據(jù)量為u=100Byte(含時間、速度、坐標(biāo)、方向等信息),每天每個時刻在運(yùn)行的鐵路機(jī)車數(shù)量基本不變,都為n= 500,則CTC每個時刻接收到的數(shù)據(jù)為nu一50 kB,一天需要存儲的數(shù)據(jù)量約為86 400 x50 kB一4 GB。隨著鐵路機(jī)車的提速及高速鐵路的發(fā)展,該數(shù)據(jù)量也在不斷增大。海量鐵路機(jī)車定位數(shù)據(jù)的保留,一方面有利于采用基于歷史數(shù)據(jù)的校正方法完成對定位數(shù)據(jù)的校正;另一方面,對海量定位數(shù)據(jù)進(jìn)行挖掘,有利于鐵路系統(tǒng)業(yè)務(wù)的優(yōu)化,如機(jī)車調(diào)度等。因此,如何存儲海量鐵路機(jī)車數(shù)據(jù)以利于其快速讀取將成為一項極為重要的問題。
針對上述以GNSS技術(shù)為主體,輔以INS和DR技術(shù)的鐵路機(jī)車組合定位存在的技術(shù)問題,本文擬在Hadoop框架下引入大數(shù)據(jù)處理技術(shù)的思想處理海量組合定位數(shù)據(jù)的。具體包括兩部分:①采用HBase數(shù)據(jù)庫管理系統(tǒng)快速、有效的存儲海量數(shù)據(jù);②集成MapReduce和地理信息系統(tǒng)高效、精確實現(xiàn)組合定位數(shù)據(jù)校正。通過本文的研究,有望為我國飛速發(fā)展的鐵路事業(yè)及其機(jī)車安全運(yùn)行提供重要的實踐意義和借鑒價值。
1 鐵路機(jī)車組合定位系統(tǒng)架構(gòu)概述
鐵路機(jī)車安全監(jiān)控系統(tǒng)旨在通過GNSS/INS/DR組合定位技術(shù)定位各運(yùn)行鐵路機(jī)車,并讓CTC、各鐵路局及鐵路站段實時獲悉各列車當(dāng)前的運(yùn)行位置以保證所有運(yùn)行列車都處于安全距離運(yùn)行。鐵路機(jī)車安全監(jiān)控系統(tǒng)在架構(gòu)上分為:車載級、鐵路總公司級、鐵路局級和站段級(如圖l所示)。
車載級:車載級為GNSS/INS/DR組合定位硬件設(shè)備。組合定位硬件設(shè)備直接安裝于鐵路機(jī)車。為解決GNSS接收信號容易受到隧道、山區(qū)、森林等地區(qū)遮擋、信號失鎖等問題,使用INS和DR技術(shù)用于彌補(bǔ)GNSS接收信號失鎖或信號較弱時無法給出定位解的情況。現(xiàn)階段,組合定位技術(shù)已較為成熟,本文采用現(xiàn)有的產(chǎn)品進(jìn)行直接集成。鐵路機(jī)車組合定位數(shù)據(jù)將通過鐵路專網(wǎng)數(shù)據(jù)網(wǎng)關(guān)實時傳送給各鐵路局?jǐn)?shù)據(jù)中心。
鐵路局級:鐵路局級存儲、計算、管理、預(yù)警該局 所管轄各鐵路機(jī)車位置。由于INS系統(tǒng)和DR存在零點(diǎn)漂移,本文采用鐵路地理信息系統(tǒng)空間匹配技術(shù),補(bǔ)償或抑制INS系統(tǒng)和DR的零點(diǎn)漂移誤差,解決機(jī)車動態(tài)定位,特別是GNSS信號失鎖或信號較弱時定位的可靠性。由于鐵路總公司數(shù)據(jù)中心需要實時獲取各鐵路機(jī)車的位置數(shù)據(jù)并進(jìn)行實時位置校正;本文采用Hadoop進(jìn)行數(shù)據(jù)存儲、實時位置校正和安全距離計算。校正后的位置數(shù)據(jù)及安全距離報警將實時顯示于監(jiān)控界面,并分發(fā)到相應(yīng)的站段級和鐵路總公司級監(jiān)控終端。
鐵路總公司級:鐵路總公司級從各鐵路局級獲取各鐵路機(jī)車校正后的定位數(shù)據(jù),監(jiān)測所有鐵路機(jī)車當(dāng)前位置及安全距離報警信息,并通過CTC監(jiān)控界面進(jìn)行實時展示。
站段級:站段級從鐵路局級獲取其所管轄區(qū)段內(nèi)的鐵路機(jī)車實時位置,并監(jiān)測安全距離報警信息。
2 位置校正及安全距離計算
本文在車載級組合定位裝置上采用較為成熟的GNSS/INS/DR設(shè)備。因此,本部分主要介紹基于已有組合定位設(shè)備下,海量鐵路機(jī)車組合定位數(shù)據(jù)的存儲與校正及安全距離的計算方案。
傳統(tǒng)采用關(guān)系型數(shù)據(jù)庫進(jìn)行數(shù)據(jù)存儲,采用大型應(yīng)用服務(wù)器進(jìn)行數(shù)據(jù)分析、處理的方案在面對海量數(shù)據(jù)的處理上將面臨越來越大的挑戰(zhàn)。因此,如何有效存儲、校正鐵路機(jī)車組合定位數(shù)據(jù)并進(jìn)行實時預(yù)警是現(xiàn)階段亟需解決的一個問題。
本文在Hadoop框架下,使用HBase存儲鐵路機(jī)車海量組合定位數(shù)據(jù),使用MapReduce進(jìn)行組合定位數(shù)據(jù)的校正和安全距離計算。
2.1 組合定位海量數(shù)據(jù)存儲
傳統(tǒng)關(guān)系型數(shù)據(jù)庫雖然對事務(wù)處理、復(fù)雜查詢等具有較大的優(yōu)勢;然而,這些優(yōu)點(diǎn)同時也為傳統(tǒng)關(guān)系型數(shù)據(jù)庫帶來了讀寫速度較慢、擴(kuò)展困難、容量有限等特點(diǎn)。鐵路機(jī)車定位數(shù)據(jù)體量巨大,數(shù)據(jù)處理響應(yīng)要求迅速。當(dāng)數(shù)據(jù)行數(shù)達(dá)到一定規(guī)模時,關(guān)系型數(shù)據(jù)庫較為復(fù)雜的系統(tǒng)邏輯使得其極其容易發(fā)生死鎖等并發(fā)問題,進(jìn)而導(dǎo)致其讀寫速度下滑嚴(yán)重。因此,關(guān)系型數(shù)據(jù)庫并不適合對響應(yīng)要求較高的海量數(shù)據(jù)存儲。此外,雖然傳統(tǒng)關(guān)系型數(shù)據(jù)庫提供了較好的復(fù)雜查詢,但其在鐵路機(jī)車定位數(shù)據(jù)存取中的功用較小。
HBase( Hadoop Database)是以Google BigTable為原型,設(shè)計并實現(xiàn)高可靠、高性能、列存儲、可伸縮、實時讀/寫的數(shù)據(jù)庫系統(tǒng),利用HBase技術(shù)可在廉價服務(wù)器上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。HBase數(shù)據(jù)表中的每一行都由1個rowkey和任意數(shù)量的Column Family構(gòu)成,每個Column Family又由任意數(shù)量的列組成。Column Family是HBase進(jìn)行權(quán)限控制的基本單位,其需在數(shù)據(jù)存儲前完成創(chuàng)建。在Hadoop框架中,HBase提供的Native Java API為Hadoop MapReduce Job提供了最常規(guī)、最高效的數(shù)據(jù)訪問存儲方式。區(qū)別于傳統(tǒng)關(guān)系型數(shù)據(jù)庫的行存儲結(jié)構(gòu),其采用列存儲;因此,其動態(tài)的存儲結(jié)構(gòu)使得其更易于數(shù)據(jù)屬性的擴(kuò)充。HBase是針對海量數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng),其擴(kuò)展性強(qiáng);當(dāng)原有系統(tǒng)存儲空間不足時,可通過簡單增加新的節(jié)點(diǎn)來擴(kuò)展集群。表1為HBase和傳統(tǒng)關(guān)系型數(shù)據(jù)庫的對比。顯然,在弱事務(wù)處理的情況下,HBase邏輯簡單,性能較優(yōu),更適合于大數(shù)據(jù)的存取。此外,使用HBase進(jìn)行組合定位數(shù)據(jù)存儲,使用MapReduce進(jìn)行組合定位位置校正和安全距離計算,是一個高耦合且無縫銜接的過程。
本文采用HBase進(jìn)行海量鐵路機(jī)車組合定位數(shù)據(jù)存儲。鐵路機(jī)車組合定位數(shù)據(jù)的回傳信息包括:鐵路機(jī)車ID、位置獲取時刻、經(jīng)度、緯度、方向、和速度等。為實現(xiàn)更精準(zhǔn)的位置校準(zhǔn),MapReduce需要經(jīng)常獲取鐵路機(jī)車的歷史位置數(shù)據(jù)。因此,本文采用單行多列的設(shè)計結(jié)構(gòu)。即一個跌路機(jī)車ID存儲在一個RowKey下,一個RowKey對應(yīng)多個Column Qualifier.表示多個時刻該鐵路機(jī)車的組合定位信息。組合定位信息數(shù)據(jù)表結(jié)構(gòu)如表2所示。
在單行多列的設(shè)計結(jié)構(gòu)下,MapReduce所涉及的主要定位數(shù)據(jù)查詢方法如下:
①查詢某個特定timestamp下的鐵路機(jī)車組合定位數(shù)據(jù)。使用鐵路機(jī)車號進(jìn)行Get查找,并通過Get. addColumn限定要查詢的Column Qualifier。
②查詢某個鐵路機(jī)車的所有位置信息記錄。直接使用鐵路機(jī)車號進(jìn)行Get查找,并通過Get. ad-dFamily添加整個Column Family。
③查詢某鐵路機(jī)車最近某時間內(nèi)的Ⅳ條定位信息。直接使用鐵路機(jī)車號進(jìn)行Get查找,通過Get.a(chǎn)ddFamily添加整個Column Family,通過ColumnCountGetFilter( int N)限制最多要查詢返回Ⅳ條記錄。
2.2 組合定位數(shù)據(jù)校正
為解決GNSS定位誤差及INS系統(tǒng)和DR的零點(diǎn)漂移誤差,需要對位置信息進(jìn)行校正,使所得到的位置信息坐落于鐵路軌道的最合理位置,以利于將 位置信息映射于鐵路網(wǎng)地圖,從而使得鐵路局級和CTC工作人員能直觀地查看各鐵路機(jī)車的實時位置。本文從GIS服務(wù)器獲取鐵路網(wǎng)GIS信息,從位置服務(wù)器獲取歷史位置信息,采用MapReduce分布式方法實時校準(zhǔn)各鐵路機(jī)車的地理位置。
算法1:組合定位位置信息校正
Map:輸入<?;鐵路機(jī)車組合定位位置信息 ins_raw>
1 解析ins_raw,獲取鐵路機(jī)車標(biāo)識id和位置信息lns;
2輸出<id; ins>;
Reduce:輸入<id; ins>
1采用現(xiàn)有傳統(tǒng)的位置信息校正技術(shù)進(jìn)行位置信息校正,得最合理的位置信息gis=match( ins);
2根據(jù)gis信息獲取鐵路線路段信息∈(gis)
3輸出<id; (gis,∈(gis))>;
算法1是基于MapReduce的位置信息校正算法。一個組合定位位置信息數(shù)據(jù)包ins_raw通常包含鐵路機(jī)車標(biāo)識id以及位置信息ins等。鐵路局級服務(wù)器每獲取一個lns_raw,立即實例化一個Mapper對象,并以<id,ins>的格式輸出給Reducer對象。由于Mapper將海量定位數(shù)據(jù)切分為了體量較小的、且能滿足位置校正輸入需求的數(shù)據(jù);因此,Reducer
可直接采用現(xiàn)有傳統(tǒng)的地圖位置匹配算法校正ins, 獲取最合理的位置信息gis及機(jī)車所處的線路段∈ ( gis)。應(yīng)用系統(tǒng)實時地獲取MapReduce所輸出的數(shù)據(jù)結(jié)果,并將數(shù)據(jù)顯示到地理信息系統(tǒng)上,從而使 得鐵路局級可以實時查閱鐵路機(jī)車的精準(zhǔn)位置。同 時,位置信息gis根據(jù)其所屬的線路段∈(gis)被分發(fā) 至各鐵路段級及站段級和鐵路總公司級終端。
2.3安全距離計算
在獲取正確的鐵路機(jī)車位置后,需要實時計算 各鐵路機(jī)車之間的距離,以保證鐵路機(jī)車之間相距有效的安全距離。在進(jìn)行距離計算時,為提高計算效率,本文做如下假定:
1)地球是一個球體。由于只有距離較近的鐵路機(jī)車才需要進(jìn)行預(yù)警。因此,在距離較近的情況下,可將地球近似看作球體。
2)鐵路軌道是直的。由于鐵路軌道不可能有太大的曲度,所以可忽略鐵道軌道彎度的影響,尤其在距離較近的情況下。
3)位置數(shù)據(jù)庫中某鐵路機(jī)車最新的位置信息視為當(dāng)前時刻位置信息。假定某運(yùn)行中的鐵路機(jī)車n在t時刻的地理位置為gis(t)。由于網(wǎng)絡(luò)傳輸時延可能存在細(xì)微差異,在實際計算中,若未能獲取與鐵路機(jī)車相關(guān)聯(lián)的機(jī)車�在t時刻的位置,則使用距離當(dāng)前時刻最近的時刻位置信息進(jìn)行安全距離計算,即當(dāng)gis�(f-1),…,gis�(t-x-l)不存在時,有g(shù)is� (t)gis�(t-x):
基于上述假定,可知:處于同一鐵路線上的鐵路機(jī)車和�在t時刻的距離可近似為該兩點(diǎn)的曲面距離,即Distance(,�)一Distance( gis(t),gis� (t))。若地球平均半徑為R,且有g(shù)is(t)=( lon(t),lat(t)),lon(t)和lat(t)分別為鐵路機(jī)車n在f時刻的經(jīng)緯、度坐標(biāo),則根據(jù)三角推導(dǎo),可以得到計算兩點(diǎn)距離的公式:
安全距離預(yù)警算法如算法2所示。在Map階段,將輸入的各鐵路機(jī)車最新位置信息以鐵路段為Key值輸出。在Reduce階段,處于同一鐵路段的鐵路機(jī)車數(shù)據(jù)將被同- Reducer收集并進(jìn)行距離計算。對同一路段中的任意兩個鐵路機(jī)車,采用公式(1)、(2)計算其距離。一旦處于同一鐵路線路的兩個鐵路機(jī)車間的距離小于安全距離ρ時,則輸出該兩機(jī)車信息,以供上層應(yīng)用調(diào)用該結(jié)果,并進(jìn)行預(yù)警。此外,為了保證鐵路局級和CTC能實時監(jiān)控鐵路,一旦某鐵路機(jī)車大于σ的時間內(nèi)未接收到其位置信息時,則輸出該鐵路機(jī)車信息,以供上層應(yīng)用進(jìn)行報警處理。
3 位置校正及安全距離計算實驗
實驗環(huán)境為Hadoop2.2,系統(tǒng)由1個主控節(jié)點(diǎn)和10個工作節(jié)點(diǎn)構(gòu)成。所有節(jié)點(diǎn)都擁有4GB內(nèi)存和500G硬盤。為了進(jìn)行試驗,模擬了500個鐵路機(jī)車在全國主要高速鐵路線路上近1年的組合位置信息數(shù)據(jù),其大小為1. 3TB。該數(shù)據(jù)以2.1節(jié)所設(shè)計的標(biāo)結(jié)構(gòu)存儲于HBase中。
為了驗證本文方法的優(yōu)勢,本文使用了兩種地圖匹配方法:基于GPS歷史軌跡的位置校正算法和非歷史數(shù)據(jù)的位置校正算法。在基于GPS歷史軌跡的地圖匹配算法中,以最新的0. 5h的軌跡數(shù)據(jù)作為歷史數(shù)據(jù)。由于本文方法有10個工作節(jié)點(diǎn),為達(dá)到更好的對比效果,在傳統(tǒng)方法中,每次啟動10個線程進(jìn)行計算。由于采用MapReduce架構(gòu)并未改變數(shù)據(jù)處理的核心算法,也即對于相同的輸入,本文所基于MapReduce的方法和傳統(tǒng)方法在結(jié)果輸出上是一致的,其區(qū)別在于兩者的計算時間不同。因此,本文將從時間效率上分析本文方法較傳統(tǒng)方法的優(yōu)勢。
圖2和圖3分別為本文方法和傳統(tǒng)方法在兩種不同地圖匹配算法中的效率對比。由圖2可知,若采用非歷史數(shù)據(jù)的地圖匹配算法,則兩種算法所需的時間相當(dāng)。這主要是因為在傳統(tǒng)算法中,4G內(nèi)存的服務(wù)器完全能夠勝任10個線程的運(yùn)算任務(wù);因此兩者都使用相同數(shù)目的處理單元完成算法運(yùn)算,從而使得所需的時間效率都差不多。然而,隨著鐵路機(jī)車運(yùn)營數(shù)量的增多,需要實時處理的鐵路機(jī)車GIS數(shù)據(jù)越來越大,傳統(tǒng)方法對單個服務(wù)器的性能
要求也越來越高。而本文方法可以靈活地向Ha-doop集群中增加低成本的服務(wù)器即可。因此,本文方法具有更好的擴(kuò)展性。由圖3可知,在基于歷史軌跡的地圖匹配算法中,本文方法總體上都具有更好的效率,這主要是因為傳統(tǒng)方法從4G的歷史數(shù)據(jù)庫中獲取歷史0. 5h的數(shù)據(jù)將花費(fèi)更多的時間。
在鐵路機(jī)車安全距離預(yù)警算法中,由于實時運(yùn)行鐵路機(jī)車量較小;本文方法和傳統(tǒng)方法的時間效率無明顯的時間效率優(yōu)勢。然而,鐵路機(jī)車安全距離預(yù)警算法緊隨地圖匹配算法運(yùn)行,即一旦某個時刻獲取某個鐵路機(jī)車的實時位置信息,則在對其進(jìn)行位置信息校準(zhǔn)匹配后,執(zhí)行鐵路機(jī)車安全距離預(yù)警算法。由于本文方法在位置校正計算中的具有更高的時間效率,因此其在整體上能夠提供更快的鐵路機(jī)車距離安全預(yù)警。且,隨著鐵路機(jī)車量的提高本文方法的優(yōu)勢將更明顯。
4 結(jié)論
1)針對我國高速鐵路運(yùn)營需要加入輔助性定位設(shè)施的問題,本文闡述了基于GNSS/INS/DR的鐵路機(jī)車定位的整體架構(gòu)。在此基礎(chǔ)上,本文重點(diǎn)論述了采用Hadoop存儲、處理海量鐵路機(jī)車位置信息的方案。具體的,本文采用HBase對海量鐵路機(jī)車組合定位信息數(shù)據(jù)進(jìn)行存儲,提出了基于MapReduce的組合定位信息數(shù)據(jù)的校正算法和鐵路機(jī)車安全距離預(yù)警算法。經(jīng)試驗驗證,基于Hadoop的數(shù)據(jù)存儲結(jié)構(gòu)及其處理算法將運(yùn)算分布到各處理單元,從而分散了傳統(tǒng)算法對服務(wù)器高性能的要求,且具有更好的擴(kuò)展性。同時,在基于歷史軌跡的地圖匹配算法中,其時間處理效率也更好。
2)隨著我國鐵路運(yùn)輸能力的提升,越來越多的鐵路機(jī)車將同時運(yùn)行。一方面,如何保障鐵路機(jī)車的運(yùn)行安全是一個極為重要的問題;另一方面,如何有效挖掘海量鐵路機(jī)車位置數(shù)據(jù),對鐵路機(jī)車調(diào)度、提速等進(jìn)行合理規(guī)劃將是未來鐵路系統(tǒng)的另一重要課題。本文將Hadoop應(yīng)用于鐵路機(jī)車位置數(shù)據(jù)存儲、處理,其能解決鐵路系統(tǒng)的安全距離預(yù)警計算問題,并將對未來鐵路系統(tǒng)海量數(shù)據(jù)挖掘等具有重要的借鑒意義和參考價值。
5摘要:
針對我國鐵路機(jī)車定位數(shù)據(jù)丟失時有發(fā)生的現(xiàn)象,闡述了以現(xiàn)有較成熟的GNSS/INS/DR ( Global Navigation Satellite System/lnertial Navigation System/Dead Reckoning)組合定位裝置構(gòu)建鐵路機(jī)車定位的系統(tǒng)架構(gòu)。在此基礎(chǔ)上,針對海量位置數(shù)據(jù),引入Hadoop技術(shù),給出了采用HBase存儲海量位置信息數(shù)據(jù)的方法,采用MapReduce校正位置信息數(shù)據(jù)及安全距離計算的方法。經(jīng)實驗驗證,該方案在需要大量數(shù)據(jù)存取的情況下,采用MapReduce進(jìn)行分布式數(shù)據(jù)分析效率更高,擴(kuò)展性更好。