自1946年第一臺計算機誕生以來，僅僅半個多世紀，信息技術以它廣泛的影響和巨大的生命力風靡全球，成為科技發(fā)展史上業(yè)績最輝煌、發(fā)展最迅速、對人類影響最廣和最深刻的科技領域。數(shù)年來，隨著互聯(lián)網和信息技術的同步發(fā)展，各行各業(yè)都積累了大量數(shù)據(jù)。據(jù)全球領先的信息技術研究和咨詢公司Gartner報告，驅動大數(shù)據(jù)發(fā)展的重要因素主要來自兩個方面：一是消費領域，如網購及社交媒體應用產生的大量數(shù)據(jù);另一方面來自城市基礎設施建設，安防便是其中之一。
多類型安防數(shù)據(jù)來襲
在安防行業(yè)，涉及的數(shù)據(jù)信息類型很多，以數(shù)據(jù)的結構類型來看，包括了各類非結構化、結構化以及半結構化信息。非結構化數(shù)據(jù)主要指視頻錄像和圖片記錄，如監(jiān)控視頻錄像，報警錄像，摘要錄像，車輛卡口圖片，人臉抓拍圖片，報警抓拍圖片等;結構化數(shù)據(jù)則包括報警記錄，系統(tǒng)日志記錄，運維數(shù)據(jù)記錄，摘要分析結構化描述記錄，以及各種相關的信息數(shù)據(jù)庫，如人口信息，地理數(shù)據(jù)信息，車駕管信息等;半結構化數(shù)據(jù)則如人臉建模數(shù)據(jù)，指紋記錄等。
這些信息的來源有幾個渠道，一個是安防系統(tǒng)內部產生的信息，如各種視頻錄像，抓拍圖片，系統(tǒng)運維數(shù)據(jù)，日志記錄，摘要記錄等;另外一些則是通過外部系統(tǒng)采集或者集成，如人口信息，地理數(shù)據(jù)信息，人臉庫數(shù)據(jù)，車駕管數(shù)據(jù)等。這些數(shù)據(jù)作為一個整體，構成了安防系統(tǒng)或者說安防領域的大數(shù)據(jù)基礎，并且具有以下特征：最顯著的是安防數(shù)據(jù)體量巨大并不斷快速膨脹，隨著視頻監(jiān)控圖像系統(tǒng)的不斷聯(lián)網和整合，以及視頻分辨率和幀率的不斷提高，實時視頻數(shù)據(jù)的存儲已經從TB的級別開始躍升到PB級別;其次，安防數(shù)據(jù)類型繁多，如上面提到的視頻、圖片、地理位置信息等等，而且隨著各類安防系統(tǒng)以及相關的信息系統(tǒng)的不斷整合，數(shù)據(jù)類型也會越來越多;另外，安防數(shù)據(jù)整體蘊含的價值密度低，但是價值高。以視頻監(jiān)控數(shù)據(jù)為例，在7*24小時連續(xù)不間斷監(jiān)控過程的中，可能有用的數(shù)據(jù)僅僅有一兩分鐘，甚至一兩秒。同時，這些信息更新頻率特別快，安防數(shù)據(jù)每時每刻都在大量的產生，信息每時每刻都在更新。
要從這些少量的信息里快速高效的篩選有效信息，安防廠商需要下面兩個基礎來保證：首先需要提升對非結構化信息的處理能力和效率，準確和快速地處理視頻圖像，人臉特征建模等數(shù)據(jù)，從里面提取出有用的信息，并且能夠進行信息的某種表述，在大數(shù)據(jù)的存儲層面上完成數(shù)據(jù)信息的提取和存儲工作，以便進行后續(xù)的數(shù)據(jù)信息檢索，分析和挖掘業(yè)務。其次，通過使用并且針對性的改進目前的大數(shù)據(jù)處理技術以及平臺框架，提供針對安防數(shù)據(jù)信息的快速檢索機制，形成有針對性的海量安防數(shù)據(jù)信息處理架構，從這些大量的結構化和半結構化信息中快速檢索和分析。
大數(shù)據(jù)在安防行業(yè)的應用探索
安防數(shù)據(jù)目前仍以圖像視頻等非結構化信息為主，所以在大數(shù)據(jù)的分析和處理上又有其特點，除了常規(guī)的信息檢索以外，安防行業(yè)更側重于圖形圖像的信息檢索;目前的IT大數(shù)據(jù)一般側重于分析和檢索文本類數(shù)據(jù)，因此，對于安防界來說，安防界對于大數(shù)據(jù)的處理和分析工具主要有兩類，一類是對于視頻圖像等非結構化信息的處理和分析工具，包括視頻智能分析工具，視頻摘要工具，圖像清晰化工具，視頻清晰化工具，視頻轉碼工具，視頻編輯工具等等。另一類則是對于結構化，半結構化信息的大數(shù)據(jù)分析處理工具，在這方面，安防界吸取了IT界在處理大數(shù)據(jù)方面的架構和經驗，對于結構化和半結構化的數(shù)據(jù)可以實現(xiàn)快速和準確的數(shù)據(jù)分析和挖掘。
縱觀整個安防領域，平安城市是規(guī)模最大、業(yè)務最復雜的龐大系統(tǒng)，涉及治安監(jiān)控、指揮通信、偵查破案、規(guī)范執(zhí)法、社會服務等多個分區(qū)領域，視頻接入規(guī)模從幾千到幾十萬，隨著安防監(jiān)控對高清、智能、聯(lián)網的要求越來越高，各地平安城市項目每天產生的數(shù)據(jù)規(guī)模正以驚人的速度不斷增長。
然而，大數(shù)據(jù)技術在安防各領域的應用并不如在IT、互聯(lián)網行業(yè)那樣成熟，相關的信息碰撞和挖掘需求也尚未能形成模式。在日漸龐大的數(shù)據(jù)面前，如何做到對海量視頻數(shù)據(jù)的綜合應用與精準分析，正是平安城市大數(shù)據(jù)的痛點，也決定了它需要大數(shù)據(jù)技術予以支撐。在各類的平安城市建設項目中，依靠大數(shù)據(jù)分析技術，從海量視頻圖像中提取有效的安防信息，早已成為安防界共識。
面對大時據(jù)時代的來臨，在數(shù)據(jù)采集、匯聚、應用領域持續(xù)探索，率先推出了業(yè)內首套完整的公安圖像信息綜合應用解決方案，方案基于圖像信息綜合應用平臺以及相應的管理與控制軟件，可將多種公安內部及社會面圖像信息資源整合進圖像資源庫，并對各部門、警種關注的音視頻圖像信息進行整理、分類存儲，同時建立索引摘要，便于證據(jù)搜索與案件關聯(lián)分析，圖像資源庫還具備完善的查詢、信息比對、歸檔和存儲功能，并采取動態(tài)管理方式，確保信息的及時、準確、有效，以方便全省資源聯(lián)網共享。
在完成大量數(shù)據(jù)的收集與整理后，整個方案能夠實現(xiàn)視頻數(shù)據(jù)資源調閱、智能分析應用、網上督察、治安防控、智能交通、圖像偵查研判、信息報送、圖像資源庫等功能，進一步挖掘海量視頻監(jiān)控數(shù)據(jù)背后的價值信息，快速反饋信息輔助決策判斷。
以智能交通為例，智能卡口子系統(tǒng)將數(shù)據(jù)深度挖掘與分析技術引入傳統(tǒng)治安卡口中，植入數(shù)套車牌圖偵戰(zhàn)法，通過跟車關聯(lián)性分析、路徑關聯(lián)性分析、區(qū)域數(shù)據(jù)碰撞分析等數(shù)據(jù)挖掘功能和實戰(zhàn)應用相結合，對卡口數(shù)據(jù)的分析尋找其中的規(guī)律性，縮小排查范圍、提高公安交警的預警能力和辦案效率。當車輛連續(xù)通過多個路口時，系統(tǒng)可以在指定的時間范圍內，根據(jù)車牌號碼及車牌顏色，在列表中按照時間先后順序顯示該車輛在此時間段內的所有過車信息，并聯(lián)動電子地圖呈現(xiàn)其行車軌跡，從而進行行為自動分析。
在公安辦案過程中，圖像偵查研判子系統(tǒng)因為讓辦案民警從海量數(shù)據(jù)中得以解放，從而在公安行業(yè)倍受推崇。圖像偵查研判子系統(tǒng)按照圖偵研判流程進行數(shù)據(jù)信息流轉，多種智能圖像處理軟件對視頻圖像進行統(tǒng)一轉碼、摘要處理、視頻剪輯、視頻特征提取、圖像清晰化處理，同時將戰(zhàn)法與流程有機結合，形成一整套的技戰(zhàn)法應用，完成在不同情況下進行案情的快速研判比對分析，讓民警在海量信息中智能定位到關鍵點，最大程度地優(yōu)化處理結果、縮短視頻分析時間，從而有效的減少人工查看視頻的時間，減少人力投入，以智能化推動案件視頻分析更快發(fā)展，為案件的破獲提供重要的方法和依據(jù)。
大數(shù)據(jù)考驗存儲能力
從目前大部分的安防系統(tǒng)架構看，安防大數(shù)據(jù)的傳輸渠道主要是網絡，一般都采用聯(lián)網匯聚，分級存儲的機制，網絡一般為千兆網，存儲也以一般的磁盤陣列存儲為主。為了適應安防信息整合，安防數(shù)據(jù)分析和信息挖掘的需求，安防系統(tǒng)逐步傾向于互聯(lián)、整合，而安防數(shù)據(jù)信息也逐漸的匯聚和集成，出現(xiàn)了萬兆網絡集中匯聚管理，并且以云存儲作為視頻圖像數(shù)據(jù)存儲平臺的趨勢。目前，云存儲已成為安防大數(shù)據(jù)的核心技術，各廠商也在著力提升自己的研發(fā)能力。
與傳統(tǒng)的存儲設備相比，云存儲不僅僅是一個硬件，而是一個網絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網和客戶端程序等多個部分組成的復雜系統(tǒng)。云存儲可以提供類似于磁盤陣列的裸空間服務，也可以提供基于存儲的特定服務。例如云存儲在平安城市系統(tǒng)中可為多個子系統(tǒng)提供存儲服務，包括視頻監(jiān)控、卡口電警、圖像資源庫、圖偵分析研判等。其可完成日常視頻錄像資源、各個案件中所涉及的視頻和圖片等資源、卡口電警所產生的車輛抓拍圖片等資源的統(tǒng)一存儲。
從應用架構上看，云存儲系統(tǒng)與傳統(tǒng)分布式存儲系統(tǒng)差異并不明顯，其更本質的區(qū)別其實體現(xiàn)在內部軟件架構上。云存儲系統(tǒng)采用大規(guī)模分布式并行文件系統(tǒng)，以大量的服務器和存儲設備為基礎，構建一個大規(guī)模存儲集群，提供上百PB的存儲容量，并能夠在線進行容量的擴充，由此搭建的大容量存儲系統(tǒng)整體成本遠低于傳統(tǒng)存儲架構，并且具有良好的可擴充性和靈活性。
云存儲系統(tǒng)通過元數(shù)據(jù)和存儲數(shù)據(jù)分離的非對稱式架構，通過負載均衡和數(shù)據(jù)并發(fā)訪問策略，在普通硬件條件下獲得高達數(shù)十Gbps的傳輸速率以及上百PB級的存儲容量，并可根據(jù)用戶應用發(fā)展的趨勢，適時按需進行在線動態(tài)擴展。與單機的文件系統(tǒng)不同，分布式文件系統(tǒng)不是將這些數(shù)據(jù)放在一塊磁盤上由上層操作系統(tǒng)來管理，而是存放在一個服務器集群上，由集群中的服務器，各盡其責，通力合作，提供整個文件系統(tǒng)的服務。
云存儲系統(tǒng)內置了基于對象數(shù)據(jù)管理策略，能夠保證在系統(tǒng)局部發(fā)生故障時數(shù)據(jù)的安全性和可靠性，徹底消除存儲系統(tǒng)中的單點故障，結合自動故障探測和快速故障恢復技術，確保用戶的應用持續(xù)穩(wěn)定地運行，同時減少部署和管理的難度。以云存儲系統(tǒng)為例，傳統(tǒng)的存儲設備，通常用RAID方式進行冗余備份，當有硬盤損壞時，RAID重構時間通常要十幾個小時，這期間如果再有硬盤壞掉，數(shù)據(jù)就無法恢復了，所以維護人員需要在第一時間趕到現(xiàn)場更換硬盤，7×24小時待命;云存儲采用分布式文件系統(tǒng)，數(shù)據(jù)的存儲和備份不再依賴單臺設備的能力，有硬盤壞掉時，其余的硬盤將自動進行重構，恢復受損的數(shù)據(jù)，這只需要十幾分鐘的時間，維護人員只需要定期檢查硬盤的損壞情況，并更換新硬盤即可，維護非常簡單。
機遇與挑戰(zhàn)并存
數(shù)據(jù)越發(fā)龐大，積累的商業(yè)信息越多，價值也就越大。以海量、多樣、快速為顯著特征的大數(shù)據(jù)，不像傳統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)那么易于管理和分析，它在為整個IT及通信行業(yè)帶來機遇的同時，也提出了更高的要求。
比如安全問題，數(shù)據(jù)安全是整個IT行業(yè)內的難題，在安防領域也不例外，IT領域碰到的安全威脅和各種各樣的破壞和攻擊，在安防領域同樣會遇到。而對于安防領域而言，數(shù)據(jù)量大，圖像信息蘊含的信息量更多，而且還涉及到個人隱私，公共安全等問題，所以，在系統(tǒng)安全方面更不容忽視，但設備商的相關技術與國家的法律規(guī)范不可能是一蹴而就的。
目前安防行業(yè)已經一只腳邁入了大數(shù)據(jù)時代，但是還沒有完全進入。之所以這么說，是因為當前安防系統(tǒng)的數(shù)據(jù)量的確在不斷膨脹，高清視頻的出現(xiàn)，安防系統(tǒng)聯(lián)網和整合的不斷推進，存儲技術和容量的提升，導致數(shù)據(jù)體量巨大，大數(shù)據(jù)的特征凸顯，這樣的安防系統(tǒng)注定將是一個大的數(shù)據(jù)集合體，但是，目前大量的視頻數(shù)據(jù)仍然是獨立的、零散的。視頻錄像數(shù)據(jù)散布在各個行業(yè)、單位獨立的系統(tǒng)中，沒有發(fā)揮達到真正的聯(lián)網、共享，業(yè)界也沒有形成對數(shù)據(jù)挖掘、利用的通用方法。
此外，在相關IT基礎設施，視頻圖像信息的智能分析和檢索，安防數(shù)據(jù)的組織管理、數(shù)據(jù)分析和挖掘算法的建模和實現(xiàn)，需要全面導入創(chuàng)新的技術。安防企業(yè)在做好安防系統(tǒng)和應用的同時，需要加強內功，提高研發(fā)能力，加強技術儲備，應對更大數(shù)據(jù)量帶來的沖擊，提升對大數(shù)據(jù)的處理和利用能力，特別是目前最為迫切需要提升的視頻智能應用、視頻智能分析的準確度，這些都是安防行業(yè)在進入大數(shù)據(jù)時代前需要解決的問題。
