自1946年第一臺計算機(jī)誕生以來，僅僅半個多世紀(jì)，信息技術(shù)以它廣泛的影響和巨大的生命力風(fēng)靡全球，成為科技發(fā)展史上業(yè)績最輝煌、發(fā)展最迅速、對人類影響最廣和最深刻的科技領(lǐng)域。數(shù)年來，隨著互聯(lián)網(wǎng)和信息技術(shù)的同步發(fā)展，各行各業(yè)都積累了大量數(shù)據(jù)。據(jù)全球領(lǐng)先的信息技術(shù)研究和咨詢公司Gartner報告，驅(qū)動大數(shù)據(jù)發(fā)展的重要因素主要來自兩個方面：一是消費(fèi)領(lǐng)域，如網(wǎng)購及社交媒體應(yīng)用產(chǎn)生的大量數(shù)據(jù);另一方面來自城市基礎(chǔ)設(shè)施建設(shè)，安防便是其中之一。
多類型安防數(shù)據(jù)來襲
在安防行業(yè)，涉及的數(shù)據(jù)信息類型很多，以數(shù)據(jù)的結(jié)構(gòu)類型來看，包括了各類非結(jié)構(gòu)化、結(jié)構(gòu)化以及半結(jié)構(gòu)化信息。非結(jié)構(gòu)化數(shù)據(jù)主要指視頻錄像和圖片記錄，如監(jiān)控視頻錄像，報警錄像，摘要錄像，車輛卡口圖片，人臉抓拍圖片，報警抓拍圖片等;結(jié)構(gòu)化數(shù)據(jù)則包括報警記錄，系統(tǒng)日志記錄，運(yùn)維數(shù)據(jù)記錄，摘要分析結(jié)構(gòu)化描述記錄，以及各種相關(guān)的信息數(shù)據(jù)庫，如人口信息，地理數(shù)據(jù)信息，車駕管信息等;半結(jié)構(gòu)化數(shù)據(jù)則如人臉建模數(shù)據(jù)，指紋記錄等。
這些信息的來源有幾個渠道，一個是安防系統(tǒng)內(nèi)部產(chǎn)生的信息，如各種視頻錄像，抓拍圖片，系統(tǒng)運(yùn)維數(shù)據(jù)，日志記錄，摘要記錄等;另外一些則是通過外部系統(tǒng)采集或者集成，如人口信息，地理數(shù)據(jù)信息，人臉庫數(shù)據(jù)，車駕管數(shù)據(jù)等。這些數(shù)據(jù)作為一個整體，構(gòu)成了安防系統(tǒng)或者說安防領(lǐng)域的大數(shù)據(jù)基礎(chǔ)，并且具有以下特征：最顯著的是安防數(shù)據(jù)體量巨大并不斷快速膨脹，隨著視頻監(jiān)控圖像系統(tǒng)的不斷聯(lián)網(wǎng)和整合，以及視頻分辨率和幀率的不斷提高，實(shí)時視頻數(shù)據(jù)的存儲已經(jīng)從TB的級別開始躍升到PB級別;其次，安防數(shù)據(jù)類型繁多，如上面提到的視頻、圖片、地理位置信息等等，而且隨著各類安防系統(tǒng)以及相關(guān)的信息系統(tǒng)的不斷整合，數(shù)據(jù)類型也會越來越多;另外，安防數(shù)據(jù)整體蘊(yùn)含的價值密度低，但是價值高。以視頻監(jiān)控數(shù)據(jù)為例，在7*24小時連續(xù)不間斷監(jiān)控過程的中，可能有用的數(shù)據(jù)僅僅有一兩分鐘，甚至一兩秒。同時，這些信息更新頻率特別快，安防數(shù)據(jù)每時每刻都在大量的產(chǎn)生，信息每時每刻都在更新。
要從這些少量的信息里快速高效的篩選有效信息，安防廠商需要下面兩個基礎(chǔ)來保證：首先需要提升對非結(jié)構(gòu)化信息的處理能力和效率，準(zhǔn)確和快速地處理視頻圖像，人臉特征建模等數(shù)據(jù)，從里面提取出有用的信息，并且能夠進(jìn)行信息的某種表述，在大數(shù)據(jù)的存儲層面上完成數(shù)據(jù)信息的提取和存儲工作，以便進(jìn)行后續(xù)的數(shù)據(jù)信息檢索，分析和挖掘業(yè)務(wù)。其次，通過使用并且針對性的改進(jìn)目前的大數(shù)據(jù)處理技術(shù)以及平臺框架，提供針對安防數(shù)據(jù)信息的快速檢索機(jī)制，形成有針對性的海量安防數(shù)據(jù)信息處理架構(gòu)，從這些大量的結(jié)構(gòu)化和半結(jié)構(gòu)化信息中快速檢索和分析。
大數(shù)據(jù)在安防行業(yè)的應(yīng)用探索
安防數(shù)據(jù)目前仍以圖像視頻等非結(jié)構(gòu)化信息為主，所以在大數(shù)據(jù)的分析和處理上又有其特點(diǎn)，除了常規(guī)的信息檢索以外，安防行業(yè)更側(cè)重于圖形圖像的信息檢索;目前的IT大數(shù)據(jù)一般側(cè)重于分析和檢索文本類數(shù)據(jù)，因此，對于安防界來說，安防界對于大數(shù)據(jù)的處理和分析工具主要有兩類，一類是對于視頻圖像等非結(jié)構(gòu)化信息的處理和分析工具，包括視頻智能分析工具，視頻摘要工具，圖像清晰化工具，視頻清晰化工具，視頻轉(zhuǎn)碼工具，視頻編輯工具等等。另一類則是對于結(jié)構(gòu)化，半結(jié)構(gòu)化信息的大數(shù)據(jù)分析處理工具，在這方面，安防界吸取了IT界在處理大數(shù)據(jù)方面的架構(gòu)和經(jīng)驗，對于結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)可以實(shí)現(xiàn)快速和準(zhǔn)確的數(shù)據(jù)分析和挖掘。
縱觀整個安防領(lǐng)域，平安城市是規(guī)模最大、業(yè)務(wù)最復(fù)雜的龐大系統(tǒng)，涉及治安監(jiān)控、指揮通信、偵查破案、規(guī)范執(zhí)法、社會服務(wù)等多個分區(qū)領(lǐng)域，視頻接入規(guī)模從幾千到幾十萬，隨著安防監(jiān)控對高清、智能、聯(lián)網(wǎng)的要求越來越高，各地平安城市項目每天產(chǎn)生的數(shù)據(jù)規(guī)模正以驚人的速度不斷增長。
然而，大數(shù)據(jù)技術(shù)在安防各領(lǐng)域的應(yīng)用并不如在IT、互聯(lián)網(wǎng)行業(yè)那樣成熟，相關(guān)的信息碰撞和挖掘需求也尚未能形成模式。在日漸龐大的數(shù)據(jù)面前，如何做到對海量視頻數(shù)據(jù)的綜合應(yīng)用與精準(zhǔn)分析，正是平安城市大數(shù)據(jù)的痛點(diǎn)，也決定了它需要大數(shù)據(jù)技術(shù)予以支撐。在各類的平安城市建設(shè)項目中，依靠大數(shù)據(jù)分析技術(shù)，從海量視頻圖像中提取有效的安防信息，早已成為安防界共識。
面對大時據(jù)時代的來臨，在數(shù)據(jù)采集、匯聚、應(yīng)用領(lǐng)域持續(xù)探索，率先推出了業(yè)內(nèi)首套完整的公安圖像信息綜合應(yīng)用解決方案，方案基于圖像信息綜合應(yīng)用平臺以及相應(yīng)的管理與控制軟件，可將多種公安內(nèi)部及社會面圖像信息資源整合進(jìn)圖像資源庫，并對各部門、警種關(guān)注的音視頻圖像信息進(jìn)行整理、分類存儲，同時建立索引摘要，便于證據(jù)搜索與案件關(guān)聯(lián)分析，圖像資源庫還具備完善的查詢、信息比對、歸檔和存儲功能，并采取動態(tài)管理方式，確保信息的及時、準(zhǔn)確、有效，以方便全省資源聯(lián)網(wǎng)共享。
在完成大量數(shù)據(jù)的收集與整理后，整個方案能夠?qū)崿F(xiàn)視頻數(shù)據(jù)資源調(diào)閱、智能分析應(yīng)用、網(wǎng)上督察、治安防控、智能交通、圖像偵查研判、信息報送、圖像資源庫等功能，進(jìn)一步挖掘海量視頻監(jiān)控數(shù)據(jù)背后的價值信息，快速反饋信息輔助決策判斷。
以智能交通為例，智能卡口子系統(tǒng)將數(shù)據(jù)深度挖掘與分析技術(shù)引入傳統(tǒng)治安卡口中，植入數(shù)套車牌圖偵戰(zhàn)法，通過跟車關(guān)聯(lián)性分析、路徑關(guān)聯(lián)性分析、區(qū)域數(shù)據(jù)碰撞分析等數(shù)據(jù)挖掘功能和實(shí)戰(zhàn)應(yīng)用相結(jié)合，對卡口數(shù)據(jù)的分析尋找其中的規(guī)律性，縮小排查范圍、提高公安交警的預(yù)警能力和辦案效率。當(dāng)車輛連續(xù)通過多個路口時，系統(tǒng)可以在指定的時間范圍內(nèi)，根據(jù)車牌號碼及車牌顏色，在列表中按照時間先后順序顯示該車輛在此時間段內(nèi)的所有過車信息，并聯(lián)動電子地圖呈現(xiàn)其行車軌跡，從而進(jìn)行行為自動分析。
在公安辦案過程中，圖像偵查研判子系統(tǒng)因為讓辦案民警從海量數(shù)據(jù)中得以解放，從而在公安行業(yè)倍受推崇。圖像偵查研判子系統(tǒng)按照圖偵研判流程進(jìn)行數(shù)據(jù)信息流轉(zhuǎn)，多種智能圖像處理軟件對視頻圖像進(jìn)行統(tǒng)一轉(zhuǎn)碼、摘要處理、視頻剪輯、視頻特征提取、圖像清晰化處理，同時將戰(zhàn)法與流程有機(jī)結(jié)合，形成一整套的技戰(zhàn)法應(yīng)用，完成在不同情況下進(jìn)行案情的快速研判比對分析，讓民警在海量信息中智能定位到關(guān)鍵點(diǎn)，最大程度地優(yōu)化處理結(jié)果、縮短視頻分析時間，從而有效的減少人工查看視頻的時間，減少人力投入，以智能化推動案件視頻分析更快發(fā)展，為案件的破獲提供重要的方法和依據(jù)。
大數(shù)據(jù)考驗存儲能力
從目前大部分的安防系統(tǒng)架構(gòu)看，安防大數(shù)據(jù)的傳輸渠道主要是網(wǎng)絡(luò)，一般都采用聯(lián)網(wǎng)匯聚，分級存儲的機(jī)制，網(wǎng)絡(luò)一般為千兆網(wǎng)，存儲也以一般的磁盤陣列存儲為主。為了適應(yīng)安防信息整合，安防數(shù)據(jù)分析和信息挖掘的需求，安防系統(tǒng)逐步傾向于互聯(lián)、整合，而安防數(shù)據(jù)信息也逐漸的匯聚和集成，出現(xiàn)了萬兆網(wǎng)絡(luò)集中匯聚管理，并且以云存儲作為視頻圖像數(shù)據(jù)存儲平臺的趨勢。目前，云存儲已成為安防大數(shù)據(jù)的核心技術(shù)，各廠商也在著力提升自己的研發(fā)能力。
與傳統(tǒng)的存儲設(shè)備相比，云存儲不僅僅是一個硬件，而是一個網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問接口、接入網(wǎng)和客戶端程序等多個部分組成的復(fù)雜系統(tǒng)。云存儲可以提供類似于磁盤陣列的裸空間服務(wù)，也可以提供基于存儲的特定服務(wù)。例如云存儲在平安城市系統(tǒng)中可為多個子系統(tǒng)提供存儲服務(wù)，包括視頻監(jiān)控、卡口電警、圖像資源庫、圖偵分析研判等。其可完成日常視頻錄像資源、各個案件中所涉及的視頻和圖片等資源、卡口電警所產(chǎn)生的車輛抓拍圖片等資源的統(tǒng)一存儲。
從應(yīng)用架構(gòu)上看，云存儲系統(tǒng)與傳統(tǒng)分布式存儲系統(tǒng)差異并不明顯，其更本質(zhì)的區(qū)別其實(shí)體現(xiàn)在內(nèi)部軟件架構(gòu)上。云存儲系統(tǒng)采用大規(guī)模分布式并行文件系統(tǒng)，以大量的服務(wù)器和存儲設(shè)備為基礎(chǔ)，構(gòu)建一個大規(guī)模存儲集群，提供上百PB的存儲容量，并能夠在線進(jìn)行容量的擴(kuò)充，由此搭建的大容量存儲系統(tǒng)整體成本遠(yuǎn)低于傳統(tǒng)存儲架構(gòu)，并且具有良好的可擴(kuò)充性和靈活性。
云存儲系統(tǒng)通過元數(shù)據(jù)和存儲數(shù)據(jù)分離的非對稱式架構(gòu)，通過負(fù)載均衡和數(shù)據(jù)并發(fā)訪問策略，在普通硬件條件下獲得高達(dá)數(shù)十Gbps的傳輸速率以及上百PB級的存儲容量，并可根據(jù)用戶應(yīng)用發(fā)展的趨勢，適時按需進(jìn)行在線動態(tài)擴(kuò)展。與單機(jī)的文件系統(tǒng)不同，分布式文件系統(tǒng)不是將這些數(shù)據(jù)放在一塊磁盤上由上層操作系統(tǒng)來管理，而是存放在一個服務(wù)器集群上，由集群中的服務(wù)器，各盡其責(zé)，通力合作，提供整個文件系統(tǒng)的服務(wù)。
云存儲系統(tǒng)內(nèi)置了基于對象數(shù)據(jù)管理策略，能夠保證在系統(tǒng)局部發(fā)生故障時數(shù)據(jù)的安全性和可靠性，徹底消除存儲系統(tǒng)中的單點(diǎn)故障，結(jié)合自動故障探測和快速故障恢復(fù)技術(shù)，確保用戶的應(yīng)用持續(xù)穩(wěn)定地運(yùn)行，同時減少部署和管理的難度。以云存儲系統(tǒng)為例，傳統(tǒng)的存儲設(shè)備，通常用RAID方式進(jìn)行冗余備份，當(dāng)有硬盤損壞時，RAID重構(gòu)時間通常要十幾個小時，這期間如果再有硬盤壞掉，數(shù)據(jù)就無法恢復(fù)了，所以維護(hù)人員需要在第一時間趕到現(xiàn)場更換硬盤，7×24小時待命;云存儲采用分布式文件系統(tǒng)，數(shù)據(jù)的存儲和備份不再依賴單臺設(shè)備的能力，有硬盤壞掉時，其余的硬盤將自動進(jìn)行重構(gòu)，恢復(fù)受損的數(shù)據(jù)，這只需要十幾分鐘的時間，維護(hù)人員只需要定期檢查硬盤的損壞情況，并更換新硬盤即可，維護(hù)非常簡單。
機(jī)遇與挑戰(zhàn)并存
數(shù)據(jù)越發(fā)龐大，積累的商業(yè)信息越多，價值也就越大。以海量、多樣、快速為顯著特征的大數(shù)據(jù)，不像傳統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)那么易于管理和分析，它在為整個IT及通信行業(yè)帶來機(jī)遇的同時，也提出了更高的要求。
比如安全問題，數(shù)據(jù)安全是整個IT行業(yè)內(nèi)的難題，在安防領(lǐng)域也不例外，IT領(lǐng)域碰到的安全威脅和各種各樣的破壞和攻擊，在安防領(lǐng)域同樣會遇到。而對于安防領(lǐng)域而言，數(shù)據(jù)量大，圖像信息蘊(yùn)含的信息量更多，而且還涉及到個人隱私，公共安全等問題，所以，在系統(tǒng)安全方面更不容忽視，但設(shè)備商的相關(guān)技術(shù)與國家的法律規(guī)范不可能是一蹴而就的。
目前安防行業(yè)已經(jīng)一只腳邁入了大數(shù)據(jù)時代，但是還沒有完全進(jìn)入。之所以這么說，是因為當(dāng)前安防系統(tǒng)的數(shù)據(jù)量的確在不斷膨脹，高清視頻的出現(xiàn)，安防系統(tǒng)聯(lián)網(wǎng)和整合的不斷推進(jìn)，存儲技術(shù)和容量的提升，導(dǎo)致數(shù)據(jù)體量巨大，大數(shù)據(jù)的特征凸顯，這樣的安防系統(tǒng)注定將是一個大的數(shù)據(jù)集合體，但是，目前大量的視頻數(shù)據(jù)仍然是獨(dú)立的、零散的。視頻錄像數(shù)據(jù)散布在各個行業(yè)、單位獨(dú)立的系統(tǒng)中，沒有發(fā)揮達(dá)到真正的聯(lián)網(wǎng)、共享，業(yè)界也沒有形成對數(shù)據(jù)挖掘、利用的通用方法。
此外，在相關(guān)IT基礎(chǔ)設(shè)施，視頻圖像信息的智能分析和檢索，安防數(shù)據(jù)的組織管理、數(shù)據(jù)分析和挖掘算法的建模和實(shí)現(xiàn)，需要全面導(dǎo)入創(chuàng)新的技術(shù)。安防企業(yè)在做好安防系統(tǒng)和應(yīng)用的同時，需要加強(qiáng)內(nèi)功，提高研發(fā)能力，加強(qiáng)技術(shù)儲備，應(yīng)對更大數(shù)據(jù)量帶來的沖擊，提升對大數(shù)據(jù)的處理和利用能力，特別是目前最為迫切需要提升的視頻智能應(yīng)用、視頻智能分析的準(zhǔn)確度，這些都是安防行業(yè)在進(jìn)入大數(shù)據(jù)時代前需要解決的問題。
