大數(shù)據(jù)價值挖掘在貨運(yùn)行業(yè)的應(yīng)用初探
相關(guān)鏈接： 中國安全網(wǎng) 中國質(zhì)量網(wǎng) 中國論文網(wǎng) 中國資訊網(wǎng)
畢建濤，曲翠玉
(大連理工大學(xué)城市學(xué)院，大連116600)
【摘要】物流成本高是貨車超載、超速現(xiàn)象普遍的內(nèi)在因素。利用大數(shù)據(jù)技術(shù)對交通數(shù)據(jù)進(jìn)行深度分析進(jìn)而優(yōu)化貨運(yùn)調(diào)配，是提高貨運(yùn)效率、降低物流成本、實(shí)現(xiàn)安全運(yùn)輸?shù)娜吕�。本文探討大�?shù)據(jù)相關(guān)技術(shù)以及大數(shù)據(jù)處理平臺的構(gòu)建理論，提出貨運(yùn)行業(yè)大數(shù)據(jù)價值挖掘系統(tǒng)架構(gòu)。文章在分析貨運(yùn)大數(shù)據(jù)的來源、內(nèi)容、類型、處理手段的基礎(chǔ)上，對異構(gòu)貨運(yùn)大數(shù)據(jù)進(jìn)行處理整合，深度分析與挖掘，通過貨車實(shí)時位置及運(yùn)行軌跡，結(jié)合貨運(yùn)單形成貨物遷徙圖，為貨運(yùn)行業(yè)管理、物流企業(yè)、交通管理部門、相關(guān)服務(wù)企業(yè)提供具有深度價值行業(yè)信息，為行業(yè)規(guī)劃、企業(yè)決策、交通監(jiān)管提供強(qiáng)有力的支持。
【關(guān)鍵詞】智能交通；大數(shù)據(jù)；Hadoop；貨運(yùn)行業(yè)；道路運(yùn)輸；貨物遷徙圖，數(shù)據(jù)價值挖掘
【中圖分類號】F5 【文獻(xiàn)標(biāo)識碼】A 【文章編號】1000-713X (2015) 12-0017-05
The Junior Exploration of Big Data Value Mining in Freight Transportation
BI Jiantao，QU Cuiyu
(City Institute of Dalian University of Technology,Dalian 116600, China)
[Abstract] Logistics cost is the internal factor of overloading and speeding. In-depth analysis of traffic data usinglarge data technology and optimizing freight allocation, is a new tool to improve efficiency, reduce logistics cost andachieve safe transportation. This thesis discusses the related technologies of the big data as well as data processingplatform theory and proposes freight industry data mining system framework.Based on the analysis of the sources,contents, types and processing methods of freight big data, the paper analyzes and integrates the heterogeneousfreight data, and thus form a freight migration map through the combination of real-time position and runningtrack of freight vehicles and the freight documents, which provides a valuable industry information for the industrymanagement, logistics enterprises, transportation management departments and related services and also a goodassistance to industry planning, enterprise decision-making, traffic regulating.[Keywords] intelligent transportation; big data;Hadoop; freight transportation; road transportation; freight migrationmap; data value mining
關(guān)于“大數(shù)據(jù)”，Gartner的定義是：“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)技術(shù)的出現(xiàn)，使人們以全新的方式認(rèn)識世界，挖掘數(shù)據(jù)中的價值，支持決策，預(yù)測未來。
根據(jù)國家發(fā)改委的數(shù)據(jù)，2013上半年，社會物流總費(fèi)用占GDP比率為18%，對比發(fā)達(dá)國家物流成本占GDP的比率控制在10%左右，還有很大的改進(jìn)空間。利用交通管理、移動通信、社交網(wǎng)絡(luò)等系統(tǒng)形成的大數(shù)據(jù)，結(jié)合行業(yè)業(yè)務(wù)數(shù)據(jù)，從行業(yè)管理的角度，對貨運(yùn)大數(shù)據(jù)進(jìn)行加工、分析、挖掘，以掌握全面即時的貨運(yùn)信息，合理規(guī)劃、優(yōu)化布局，加強(qiáng)監(jiān)管，指導(dǎo)物流企業(yè)安全運(yùn)輸，高效運(yùn)輸。
1 關(guān)于大數(shù)據(jù)技術(shù)
大數(shù)據(jù)的特點(diǎn)可以用4個“V”來形容——Volume（數(shù)據(jù)體量大）、Variety（數(shù)據(jù)類型繁多）、Velocity（處理速度快）、Value（價值密度低）。對大數(shù)據(jù)的處理和應(yīng)用技術(shù)有別于傳統(tǒng)方式，要考慮并行處理、響應(yīng)速度等。當(dāng)前用于分析大數(shù)據(jù)的開源工具是Hadoop，該平臺包括Hadoop HDFS. HadoopMapReduce、HBase. Hive等。
1.1 Hadoop分布式文件系統(tǒng)(HDFS)
HDFS是一個高度容錯性的系統(tǒng)，提供高吞吐量的數(shù)據(jù)訪問，適合部署在廉價的機(jī)器上處理大規(guī)模數(shù)據(jù)集。HDFS為主從結(jié)構(gòu)，一個HDFS集群由一個NameNode和若干個DataNode組成。NameNode操作文件命名空間的文件或目錄操作，同時確定塊與數(shù)據(jù)節(jié)點(diǎn)的映射。DHFS將一個文件分割成多個塊，這些塊被存儲在一組DataNode中，DataNode負(fù)責(zé)讀寫請求，同時還執(zhí)行塊的創(chuàng)建、刪除、復(fù)制等指令。
1.2 MapReduce
MapReduce是一種對大規(guī)模數(shù)據(jù)集進(jìn)行并行運(yùn)算處理的編程模型：Map函數(shù)用來把一組鍵值對映射成一組新的鍵值對，指定并發(fā)的Reduce函數(shù)，以保證所有映射的鍵值對中的每一個共享相同的鍵組。MapReduce設(shè)計為面向順序式大規(guī)模數(shù)據(jù)的磁盤訪問處理，這樣更適合只能在外存（磁盤）、廉價服務(wù)器上進(jìn)行的大規(guī)模數(shù)據(jù)處理。
1.3 HadoopDatabase
HBase是一個高性能、面向列的分布式開源數(shù)據(jù)庫系統(tǒng)，是一個適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫�；诹卸切械哪Ｊ剑墒笻Base具有高性能、可伸縮的特性：每次查詢時只讀關(guān)注的指定列而不需要讀其他無關(guān)數(shù)據(jù)，同時，每列數(shù)據(jù)對應(yīng)1個數(shù)據(jù)包，同構(gòu)性可有效提高壓縮性。
2貨運(yùn)行業(yè)大數(shù)據(jù)分析
隨著信息技術(shù)的發(fā)展，大規(guī)模、多類型數(shù)據(jù)的獲取成為可能，貨運(yùn)行業(yè)數(shù)據(jù)可從以下幾個方面獲取。
2.1 行業(yè)管理數(shù)據(jù)
指交通管理部門的車輛登記及年檢信息、駕駛員登記及年檢信息、違章記錄，車輛廠商的車輛及保養(yǎng)維修信息，保險公司的車輛保險及理賠信息等。
這些信息變更不頻繁，多為結(jié)構(gòu)化的數(shù)據(jù)，數(shù)據(jù)量不是很大，可用關(guān)系型數(shù)據(jù)庫進(jìn)行管理。
2.2企業(yè)運(yùn)營數(shù)據(jù)
指企業(yè)運(yùn)營基本業(yè)務(wù)單據(jù)，包括物流企業(yè)、客戶檔案、物流網(wǎng)點(diǎn)、貨運(yùn)單等信息。
這些信息多為事務(wù)性信息、結(jié)構(gòu)化的數(shù)據(jù)，變更較頻繁，數(shù)據(jù)量較大，可用關(guān)系型數(shù)據(jù)庫進(jìn)行管理。
2.3道路交通實(shí)時數(shù)據(jù)
來源于交通管理部門的交通流檢測網(wǎng)絡(luò)通過線圈、紅外、微波、視頻和GPS檢測到的交通流數(shù)據(jù)，包括道路監(jiān)控探頭的視頻、圖像；各卡口識別設(shè)備采集的圖像；電子警察抓拍的圖片；高速公路收費(fèi)口及ETC數(shù)據(jù)；另外還有城市公交系統(tǒng)監(jiān)控視頻、圖片等。
上述數(shù)據(jù)的特點(diǎn)是數(shù)據(jù)量巨大、需要實(shí)時處理、所含價值復(fù)雜。利用大數(shù)據(jù)技術(shù)對上述數(shù)據(jù)的處理，可以獲得車輛的位置及軌跡，以及道路交通流量實(shí)時信息。
2.4移動通信部門的數(shù)據(jù)
指由移動運(yùn)營商提供的LBS服務(wù)數(shù)據(jù)，可以根據(jù)手機(jī)獲得的駕駛員等相關(guān)人員的運(yùn)行軌跡、運(yùn)行速度、所處位置等數(shù)據(jù)。
LBS基站定位是基于位置的服務(wù)，通過無線電通訊網(wǎng)絡(luò)獲取移動終端用戶的位置信息。利用手機(jī)信令，根據(jù)起源蜂窩小區(qū)(COO)、到達(dá)時間(TOA)、到達(dá)時間差分(TDOA)、到達(dá)角度(AOA)、增強(qiáng)觀測時間差分(E-OTD)等數(shù)據(jù)，獲得手機(jī)所在小區(qū)的識別號，就可以知道手機(jī)所在區(qū)域（基站小區(qū)的經(jīng)緯度），定位精度50～llOOm。LBS用于定位的主要數(shù)據(jù)說明如表1所示。
2.5車載GPS的數(shù)據(jù)
GPS是根據(jù)高速運(yùn)動的衛(wèi)星瞬間位置作為已知的起算數(shù)據(jù)，采用空間距離后方交會的方法，確定待測點(diǎn)的位置。衛(wèi)星定位不僅可以確定終端的位置，還能確定終端移動的速度、方向以及高度等額外屬性值，而且在車載GPS數(shù)據(jù)中還可以確定車輛載重情況、作息時間等信息。車載GPS數(shù)據(jù)的詳細(xì)描述見表2。
對于多源（LBS、GPS及交通卡口數(shù)據(jù)）和多層次（速度、流量和占有率等）的交通流信息進(jìn)行融合處理，可以得到反映路網(wǎng)交通真實(shí)狀況的一致可靠的交通流數(shù)據(jù)。
2.6社交網(wǎng)絡(luò)的信息
駕駛員、相關(guān)人員等在社交網(wǎng)絡(luò)上發(fā)布的信息，可以通過網(wǎng)絡(luò)數(shù)據(jù)挖掘技術(shù)，將所關(guān)心的文本、圖片等內(nèi)容收集起來，還可以通過網(wǎng)絡(luò)日志收集相關(guān)人員上網(wǎng)行為數(shù)據(jù)。這些信息可能包括：途中經(jīng)過的地點(diǎn)、天氣信息、車輛狀況、突發(fā)事件等，結(jié)合其他數(shù)據(jù)，通過關(guān)聯(lián)分析，獲取有價值的業(yè)務(wù)信息。
從數(shù)據(jù)結(jié)構(gòu)的角度來講，上述數(shù)據(jù)可分為以下三類。
結(jié)構(gòu)化數(shù)據(jù)——具有結(jié)構(gòu)的關(guān)系型數(shù)據(jù)，可采用關(guān)系型數(shù)據(jù)庫進(jìn)行處理。
半結(jié)構(gòu)化數(shù)據(jù)——與純文本相比，具有一定的結(jié)構(gòu)性，但結(jié)構(gòu)變化很大；可采用XML文件的方式進(jìn)行處理。
非結(jié)構(gòu)化數(shù)據(jù)——不具有結(jié)構(gòu)性，可以用鍵、鍵值（內(nèi)容）、描述，來組織數(shù)據(jù)，可借助Hadoop來處理。
對不同類別的數(shù)據(jù)的存儲與處理方式具體可歸納為如表3所示。經(jīng)過處理后的數(shù)據(jù)集成于數(shù)據(jù)倉庫，這樣將大數(shù)據(jù)與其他結(jié)構(gòu)化數(shù)據(jù)關(guān)聯(lián)在一起，利用BI工具、統(tǒng)計報告、可視化查詢等工具對數(shù)據(jù)進(jìn)行查詢、分析。貨運(yùn)行業(yè)數(shù)據(jù)處理與分析系統(tǒng)結(jié)構(gòu)如圖1所示。
3 貨運(yùn)行業(yè)數(shù)據(jù)的價值挖掘
利用大數(shù)據(jù)技術(shù)，以全體數(shù)據(jù)而不是抽樣數(shù)據(jù)為樣本，對龐大的數(shù)據(jù)進(jìn)行剝離、整理、歸類、建模等操作，在此基礎(chǔ)上建立數(shù)據(jù)分析的維度，對不同的維度數(shù)據(jù)進(jìn)行分析，對數(shù)據(jù)進(jìn)行深度挖掘和分析，讓數(shù)據(jù)自己發(fā)聲，為企業(yè)提供運(yùn)營數(shù)據(jù)支撐，為企業(yè)的決策提供有力的依據(jù)。
3.1 車輛位置及軌跡數(shù)據(jù)
通過對交管卡口數(shù)據(jù)的處理可以得到單個車輛的位置及軌跡信息。同樣，根據(jù)車載終端GPS、手機(jī)LBS，分別得到車輛的運(yùn)行軌跡、駕駛員的移動軌跡。三者相互補(bǔ)充、驗證，即可得到準(zhǔn)確、可靠的車輛位置及軌跡數(shù)據(jù)，這是后續(xù)的數(shù)據(jù)分析的基礎(chǔ)。
3.2車流量分布數(shù)據(jù)
匯總車輛位置及軌跡數(shù)據(jù)，可實(shí)時查詢整個貨車流的信息，包括某一時刻單個車輛的位置及軌跡，某地的車流量進(jìn)出情況，某路段車流量情況，整個交通路網(wǎng)的車流量分布情況等。進(jìn)一步可預(yù)測未來時刻的車流情況。
3.3貨物遷徙圖
基于車輛位置及軌跡數(shù)據(jù)，結(jié)合運(yùn)單信息，可匹配出物流運(yùn)單執(zhí)行數(shù)據(jù)，該數(shù)據(jù)描述具體每個運(yùn)單的實(shí)現(xiàn)情況：起止地、時間、路徑、運(yùn)貨量等。對物流運(yùn)單執(zhí)行數(shù)據(jù)進(jìn)行匯總，可以得到貨物的總體流動情況，并形成貨物遷徙圖。該圖類似百度遷徙圖，可以反映各時間段貨物流向、物流強(qiáng)度、密度等信息。
貨物遷徙圖以可視化的方式展示貨運(yùn)行業(yè)整體的貨物流動情況，可查詢某地的貨物進(jìn)出情況，某線路間物流運(yùn)輸?shù)膹?qiáng)度、密度等情況。
根據(jù)貨物遷徙圖，貨運(yùn)行業(yè)管理部門，可從總體上了解貨物遷徙的整體情況、物流總體需求情況、物流與需求的匹配情況、運(yùn)力配置情況，合理制定行業(yè)發(fā)展規(guī)劃。物流公司可根據(jù)車輛的位置信息、狀態(tài)信息，優(yōu)化運(yùn)力調(diào)度，減少空載，提高車輛利用率；合理設(shè)置物流中轉(zhuǎn)，減少倉儲空間、時間，加快貨物流通速度，降低物流成本；根據(jù)物流遷移情況，運(yùn)力分布情況，制定有競爭力的運(yùn)單價格政策、承接運(yùn)單策略；根據(jù)以往數(shù)據(jù)，預(yù)測運(yùn)力需求，從容應(yīng)對市場需求變動。
3.4指導(dǎo)貨運(yùn)企業(yè)經(jīng)營
根據(jù)車輛位置及軌跡數(shù)據(jù)，分析不同路徑的行駛時間，制定最佳路徑，使貨車行駛路徑最優(yōu)，提高運(yùn)輸效率，節(jié)省運(yùn)輸成本。
跟蹤具體貨物運(yùn)單，統(tǒng)計正點(diǎn)率、無損率等指標(biāo)，以評價司機(jī)工作業(yè)績，進(jìn)而作為貨運(yùn)公司評價指標(biāo)，供客戶在選擇物流公司時參考。
車輛維修保養(yǎng)預(yù)警，車輛出故障一般不是瞬時的而是有跡象的。通過收集根據(jù)車載終端傳回的數(shù)據(jù)以及司機(jī)通過社交網(wǎng)絡(luò)等發(fā)布的消息，可以預(yù)先捕捉到車輛要出故障的信號，比如異響、過熱等現(xiàn)象。通過聚類統(tǒng)計可以發(fā)現(xiàn)現(xiàn)象與故障之間的關(guān)聯(lián)，及時預(yù)警、維修，節(jié)省保養(yǎng)成本，延長車輛使用壽命。
3.5指導(dǎo)相關(guān)企業(yè)經(jīng)營的數(shù)據(jù)
幫助保險公司設(shè)計合理的保險費(fèi)率。根據(jù)行駛路段、行駛里程、行駛時間和緊急剎車程度等，可評估駕駛員風(fēng)險。保險公司將個人駕駛情況與其他的統(tǒng)計信息（如該區(qū)域其他駕駛員的平均情況）進(jìn)行對比，將駕駛員風(fēng)險及保險精算信息與策略及檔案信息相關(guān)聯(lián)，從而計算出具有高競爭性、高收益的保險費(fèi)率。
幫助車輛生產(chǎn)廠商改進(jìn)產(chǎn)品。車載終端收集的車輛信息、司機(jī)發(fā)布的車輛情況等信息，可以反映車輛使用過程中所出現(xiàn)的各種現(xiàn)象、故障等情況，對這些信息進(jìn)行聚類，可以指導(dǎo)車輛生產(chǎn)廠商進(jìn)行車輛保養(yǎng)、維修，改進(jìn)車輛設(shè)計。
3.6交通監(jiān)管輔助數(shù)據(jù)
交管部門根據(jù)車輛位置及軌跡數(shù)據(jù)，實(shí)時監(jiān)控貨運(yùn)車輛的整體情況，可以分析貨車在整體車流中所占比例、貨車流區(qū)域分布、時間分布情況，據(jù)此調(diào)配警力，有針對性對貨車加強(qiáng)監(jiān)控；根據(jù)歷史數(shù)據(jù)，基于模型預(yù)測道路交通車流情況，在突發(fā)事件時進(jìn)行合理引導(dǎo)、及時調(diào)度。
可以實(shí)時監(jiān)測貨車，包括行駛時間、行駛速度、
車載情況，設(shè)置合理閥值，重點(diǎn)監(jiān)控疲勞駕駛、超載
超速等情況，盡早干預(yù)、預(yù)警避免，提高交通安全監(jiān)
管水平。
對盜搶車輛，可及時發(fā)現(xiàn)車輛軌跡，與手機(jī)LBS數(shù)據(jù)匹配（與車輛軌跡高度關(guān)聯(lián)的手機(jī)軌跡）鎖定盜搶車輛人員信息，便于盡早破案。
3.7支撐宏觀經(jīng)濟(jì)預(yù)測的數(shù)據(jù)
對經(jīng)濟(jì)管理部門，通過物流遷徙圖，可以了解物流集散情況，發(fā)現(xiàn)事實(shí)上的物流集散中心，為制定地區(qū)經(jīng)濟(jì)規(guī)劃提供參考。
對經(jīng)濟(jì)統(tǒng)計部門，根據(jù)某地物流進(jìn)出情況的變化，可以間接地反映區(qū)域經(jīng)濟(jì)情況，為GDP統(tǒng)計提供參考。比如高峰期交通狀況與失業(yè)率，零售商場附近的車輛與銷售額等，通過對這些信息的關(guān)聯(lián)分析，可以比財務(wù)報表更早地了解經(jīng)濟(jì)發(fā)展情況。
對經(jīng)營研究部門，根據(jù)運(yùn)力情況、各地的進(jìn)出貨運(yùn)輸、城鄉(xiāng)同城貨運(yùn)和同城配送三個部分，從具體的運(yùn)輸模式看又有整車運(yùn)輸和零擔(dān)運(yùn)輸兩種。選擇其中某個領(lǐng)域切入后精耕細(xì)作，切實(shí)深入市場，做好特定人群的顧客體驗，提高軟件留存率，是車貨匹配App貨運(yùn)信息平臺企業(yè)發(fā)展的必經(jīng)之路。此外，一些比較特殊的專業(yè)化運(yùn)輸領(lǐng)域應(yīng)成為推廣車貨匹配業(yè)務(wù)的重點(diǎn)領(lǐng)域。如，冷鏈運(yùn)輸。冷鏈運(yùn)輸普遍是各大城市物流配送系統(tǒng)的薄弱環(huán)節(jié)，也是近幾年國家大力發(fā)展的領(lǐng)域。如果專門做冷鏈車輛的匹配，企業(yè)不僅可以在一個競爭相對輕松的環(huán)境下發(fā)展，而且符合國家物流政策的導(dǎo)向。
