平安城市存儲(chǔ)需求

　　平安城市視頻監(jiān)控系統(tǒng)一般具有監(jiān)控點(diǎn)多、攝像頭數(shù)量多、保存時(shí)間長(zhǎng)(監(jiān)控?cái)?shù)據(jù)的保存時(shí)間多一個(gè)月以上)。因此視頻監(jiān)控系統(tǒng)存儲(chǔ)必須支持大容量，且容量具有高擴(kuò)展性，滿足長(zhǎng)時(shí)間大容量視頻圖像存儲(chǔ)的需求。存儲(chǔ)系統(tǒng)在市公安局、縣公安局、派出所等視頻圖像中心或視頻圖像信息前端匯集平臺(tái)，根據(jù)視頻圖像信息前端匯集情況，配備視頻圖像信息存儲(chǔ)設(shè)備，對(duì)其匯聚的視頻圖像信息資源進(jìn)行錄像，配備視頻圖像信息存儲(chǔ)設(shè)備，對(duì)其自建的視頻圖像信息資源進(jìn)行錄像。

　　平安城市的影像信息存儲(chǔ)技術(shù)要求：

　　· 每路視頻圖像信息的錄像回放分辨率應(yīng)不低于D1標(biāo)清與720P高清格式;

　　· 采用標(biāo)準(zhǔn)MPEG-4、H.264格式進(jìn)行編碼，并能由VLC譯碼;

　　· 保證至少能以D1/720P的圖像分辨率錄像30天以上不間斷存儲(chǔ);

　　· 對(duì)錄像檢索快速，具有完整的檢索條件。支持多用戶同時(shí)回放同一錄像，對(duì)基于對(duì)象的智能檢索有一定的擴(kuò)展能力;

　　· 具有用戶友好的互接口，并可以剪輯播放。具有依檔案或時(shí)間段下載錄像備份的功能;

　　· 存儲(chǔ)時(shí)間同步，數(shù)字圖像存儲(chǔ)設(shè)備可支持NTP;

　　· 設(shè)定時(shí)間誤差應(yīng)≤10秒內(nèi);

　　· 具有根據(jù)時(shí)間、容量等條件實(shí)現(xiàn)自動(dòng)清理磁盤(pán)策略;

　　· 提供可供二次開(kāi)發(fā)軟件SDK包和API接口函數(shù);

　　· 當(dāng)一級(jí)監(jiān)控中心“宕機(jī)”時(shí),二級(jí)監(jiān)控中心可具備七天的監(jiān)視錄像存儲(chǔ)功能。當(dāng)一級(jí)監(jiān)控中心存儲(chǔ)恢復(fù)正常后，存儲(chǔ)自動(dòng)轉(zhuǎn)入一級(jí)監(jiān)控中心存儲(chǔ)，并在后臺(tái)執(zhí)行本地視頻數(shù)據(jù)拷貝到上一級(jí)監(jiān)控中心存儲(chǔ)，以保證錄像的完整性;

　　· 一級(jí)監(jiān)控中心的集中存儲(chǔ)用來(lái)存儲(chǔ)重要事件視頻數(shù)據(jù)庫(kù)，需長(zhǎng)期保存;

　　· 依IP網(wǎng)絡(luò)的性能，并依據(jù)公安業(yè)務(wù)要求實(shí)現(xiàn)對(duì)視頻進(jìn)行有效管理應(yīng)用，建設(shè)一個(gè)具有穩(wěn)定可靠、架構(gòu)設(shè)置簡(jiǎn)單、易維護(hù)升級(jí)的數(shù)字視頻存儲(chǔ)系統(tǒng)。

　　視頻數(shù)據(jù)存儲(chǔ)技術(shù)

　　依據(jù)平安城市監(jiān)控網(wǎng)絡(luò)建置架構(gòu)，在系統(tǒng)視頻數(shù)據(jù)的集中存儲(chǔ)方式上可以實(shí)行的方式有以下。

　　DAS

　　DAS即直接連接存儲(chǔ)方式，采用SCSI和FC技術(shù)，將外掛存儲(chǔ)裝置通過(guò)網(wǎng)絡(luò)線或光纖鏈接，直接連接到一臺(tái)工作站上，數(shù)據(jù)存儲(chǔ)是整個(gè)服務(wù)器結(jié)構(gòu)的一部分方式。

　　NAS

　　NAS即網(wǎng)絡(luò)附掛存儲(chǔ)，這是一種專業(yè)的網(wǎng)絡(luò)檔案存儲(chǔ)服務(wù)器，或稱為網(wǎng)絡(luò)直連存儲(chǔ)裝置，使用NFS 或 CIFS協(xié)議，通過(guò) TCP/IP進(jìn)行檔案訪問(wèn)。

　　SAN

　　SAN即存儲(chǔ)局域網(wǎng)絡(luò)，以數(shù)據(jù)存儲(chǔ)為中心的專用儲(chǔ)存網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)可伸縮，可實(shí)現(xiàn)存儲(chǔ)設(shè)備和應(yīng)用服務(wù)器之間數(shù)據(jù)塊級(jí)的I/O數(shù)據(jù)訪問(wèn)。按照所使用的協(xié)議和介質(zhì)，SAN分為FC-SAN、IP-SAN、IB-SAN三種。

　　IP-SAN/NAS

　　IP-SAN/NAS在SAN結(jié)構(gòu)下使用的iSCSI協(xié)議，作為在IP網(wǎng)絡(luò)上訪問(wèn)數(shù)據(jù)塊級(jí)新的 Internet SCSI標(biāo)準(zhǔn)，在SAN和NAS之間架設(shè)了一道橋梁。iSCSI最初是由Cisco和IBM兩家公司發(fā)起的，之后提交給Internet工程任務(wù)組 (IETF) 將其標(biāo)準(zhǔn)化。是融合NAS和SAN的技術(shù)。是可在TCP/IP網(wǎng)絡(luò)發(fā)送、接收Block級(jí)數(shù)據(jù)的存儲(chǔ)服務(wù)器。[nextpage]

　　選擇存儲(chǔ)方式的考慮因素

　　在平安城市項(xiàng)目中，選擇存儲(chǔ)方案時(shí)需考慮到：

　　· 采用H.264或MPEG-4視頻格式，但各種編碼器都有各自的播放庫(kù);

　　· 數(shù)字視頻數(shù)量影響到存儲(chǔ)容量和存儲(chǔ)性能需求;

　　· 視頻頻寬/記錄時(shí)間：影響到存儲(chǔ)容量和性能需求。一般視頻頻寬的范圍是從1Mbps-8Mbps，但通常都在2Mbps-4Mpbs范圍之內(nèi)以滿足標(biāo)清及高清訊號(hào);

　　· 視頻錄像應(yīng)能保持30天的存儲(chǔ);

　　· 視頻流的記錄方式：影響到存儲(chǔ)空間的接口。目前了解到信息，各種DVS/NVS/編碼器全部使用文件系統(tǒng)記錄視頻(錄像)，方法為按固定的時(shí)間間隔生產(chǎn)視頻檔;

　　· 穩(wěn)定可靠性要求：一些視頻監(jiān)控系統(tǒng)對(duì)監(jiān)控業(yè)務(wù)連續(xù)性要求很高，要求設(shè)備故障不能影響到當(dāng)前的監(jiān)視和記錄;

　　· 隨著公安業(yè)務(wù)發(fā)展，視頻存儲(chǔ)要能擴(kuò)充。

　　以IP-SAN作為平安城市最佳網(wǎng)絡(luò)儲(chǔ)存應(yīng)用技術(shù)

　　IP-SAN是一種基于IP以太網(wǎng)絡(luò)的網(wǎng)絡(luò)區(qū)域存儲(chǔ)架構(gòu)，它使用iSCSI協(xié)議代替光纖信道 (FC)協(xié)議來(lái)傳輸數(shù)據(jù)，讓IP-SAN架構(gòu)不必使用昂貴的光纖網(wǎng)絡(luò)、FC-HBA卡和光纖信道存儲(chǔ)設(shè)備，而是使用IP以太網(wǎng)絡(luò)、以太網(wǎng)卡和iSCSI存儲(chǔ)設(shè)備。因此，相比FC-SAN，IP-SAN存儲(chǔ)架構(gòu)成本低很多。與FC-SAN類似，IP-SAN也可以將存儲(chǔ)設(shè)備分成一個(gè)或多個(gè)檔案卷，并匯出給前端應(yīng)用客戶端，客戶端計(jì)算機(jī)可以對(duì)這些導(dǎo)過(guò)來(lái)的卷進(jìn)行新建文件系統(tǒng)操作。客戶端計(jì)算機(jī)對(duì)這些卷的訪問(wèn)方式為設(shè)備的級(jí)塊訪問(wèn)，塊級(jí)訪問(wèn)的特性決定了iSCSI數(shù)據(jù)訪問(wèn)的高I/O性能和傳輸?shù)脱舆t。

　　這種應(yīng)用于平安城市的海量?jī)?chǔ)存IP-SAN具有IP網(wǎng)絡(luò)以下的優(yōu)點(diǎn)：

　　· 實(shí)現(xiàn)彈性擴(kuò)展的存儲(chǔ)網(wǎng)絡(luò)，能自適應(yīng)應(yīng)用的改變;

　　· 已經(jīng)驗(yàn)證的傳輸設(shè)備保證運(yùn)行的可靠性;

　　· 以太網(wǎng)從1G向更高速過(guò)渡，只需通過(guò)簡(jiǎn)單的升級(jí)便可得到極大的性能提升;

　　· IP跨長(zhǎng)距離擴(kuò)展能力，輕松實(shí)現(xiàn)遠(yuǎn)程數(shù)據(jù)復(fù)制和災(zāi)難恢復(fù);

　　· 使用上因大量熟悉的網(wǎng)絡(luò)技術(shù)和管理的人才將會(huì)減少系統(tǒng)培訓(xùn)和人力成本;

　　· 基于IP的存儲(chǔ)最大貢獻(xiàn)在于將存儲(chǔ)網(wǎng)絡(luò)集成到主流的數(shù)據(jù)通信領(lǐng)域中。

　　海量視頻存儲(chǔ)方案設(shè)計(jì)

　　平安城市項(xiàng)目由于視頻接入數(shù)量龐大，存儲(chǔ)系統(tǒng)設(shè)計(jì)大多采用分布式存儲(chǔ)和集中存儲(chǔ)網(wǎng)絡(luò)構(gòu)架，在市公安局、縣公安局、派出所等視頻中心或視頻信息前端平臺(tái)，根據(jù)視頻信息前端收集情況，配備視頻信息存儲(chǔ)設(shè)備，對(duì)其收集的視頻信息資源進(jìn)行錄像。這二種儲(chǔ)存方式的架構(gòu)設(shè)計(jì)大致如下：

　　· 分布式網(wǎng)絡(luò)存儲(chǔ) ：在派出所和縣監(jiān)控中心接入前端視頻監(jiān)控圖像，部署網(wǎng)絡(luò)存儲(chǔ)設(shè)備，前端視頻信息包括高清網(wǎng)絡(luò)攝像機(jī)直接存儲(chǔ)到網(wǎng)絡(luò)存儲(chǔ)裝置內(nèi);

　　· 集中式網(wǎng)絡(luò)存儲(chǔ) ：IP網(wǎng)絡(luò)攝像機(jī)(包括網(wǎng)絡(luò)球機(jī)、高清網(wǎng)絡(luò)攝像機(jī))分布在各個(gè)不同的派出所轄區(qū)，錄像數(shù)據(jù)集中存儲(chǔ)在縣局監(jiān)控中心的網(wǎng)絡(luò)存儲(chǔ)設(shè)備中。派出所通過(guò)網(wǎng)絡(luò)調(diào)用轄區(qū)范圍內(nèi)的視頻影像，實(shí)現(xiàn)監(jiān)控系統(tǒng)的實(shí)時(shí)監(jiān)控和管理。[nextpage]

　　存儲(chǔ)方式選擇

　　對(duì)于接入數(shù)量龐大的城市視頻監(jiān)控，為減少派出所到區(qū)縣分局的視頻傳輸壓力，保障派出所一線實(shí)戰(zhàn)單位的應(yīng)用，系統(tǒng)采用分布式設(shè)計(jì)，支持多種存儲(chǔ)設(shè)備共存，同時(shí)縣分局和上級(jí)市局指揮中心采用集中存儲(chǔ)設(shè)備備份重點(diǎn)監(jiān)控圖像。儲(chǔ)存方式一般可規(guī)劃如下：

　　· 派出指揮中心,實(shí)時(shí)存儲(chǔ)視頻30天D1格式，分配IP-SAN存儲(chǔ);

　　· 對(duì)于監(jiān)控點(diǎn)位較少的派出所可將視頻圖像直接存儲(chǔ)到上級(jí)縣公安分局;

　　· 市(分)局指揮中心存儲(chǔ)接入所轄區(qū)域重要視頻圖像、社會(huì)視頻資源。

　　存儲(chǔ)管理服務(wù)器管理方式

　　在派出所和縣監(jiān)控中心部署存儲(chǔ)管理服務(wù)器，內(nèi)嵌平臺(tái)軟件的網(wǎng)絡(luò)存儲(chǔ)管理服務(wù)軟件，是針對(duì)大型網(wǎng)絡(luò)監(jiān)控系統(tǒng)環(huán)境的專用存儲(chǔ)管理軟件模塊，實(shí)現(xiàn)遠(yuǎn)程所有圖像的實(shí)時(shí)錄像、報(bào)警錄像、中心集中備份和事后檢索查詢服務(wù)，計(jì)劃錄像下支持補(bǔ)錄。支持DAS、NAS、SAN等多種存儲(chǔ)方式，對(duì)于視頻存儲(chǔ)建議采用IP-SAN存儲(chǔ)方式。網(wǎng)絡(luò)存儲(chǔ)管理服務(wù)器根據(jù)需求可以分布式部署，目前可以部署在派出所、縣分局和市局，一臺(tái)存儲(chǔ)管理服務(wù)器可以管理的視頻路數(shù)不限，但是同時(shí)并發(fā)存儲(chǔ)處理的視頻路數(shù)受到服務(wù)器性能限制，目前測(cè)試的結(jié)果是在Giga千兆網(wǎng)絡(luò)環(huán)境下一臺(tái)存儲(chǔ)服務(wù)器可以并發(fā)相應(yīng)1000路CIF格式的視頻流。

　　網(wǎng)絡(luò)存儲(chǔ)服務(wù)器軟件通過(guò)網(wǎng)絡(luò)獲取系統(tǒng)中所有視頻源的信息，存儲(chǔ)到大容量的存儲(chǔ)設(shè)備中。系統(tǒng)可以支持n臺(tái)計(jì)算器組成的分布式集群存儲(chǔ)結(jié)構(gòu)。在這些計(jì)算機(jī)的通訊底層是我們的高性能通訊平臺(tái)技術(shù)。在正常運(yùn)作的情況下，每一臺(tái)存儲(chǔ)計(jì)算機(jī)負(fù)責(zé)存儲(chǔ)整個(gè)系統(tǒng)中的某些錄像信息。首先我們需要定義存儲(chǔ)組，每一個(gè)存儲(chǔ)組有n路圖像組成。我們把一個(gè)存儲(chǔ)組綁定到一臺(tái)存儲(chǔ)服務(wù)器，這樣全系統(tǒng)的圖像將通過(guò)不同的存儲(chǔ)服務(wù)器進(jìn)行存儲(chǔ)。采用的模型是前端分布式錄像和后端集中錄像的綜合方法。存儲(chǔ)管理服務(wù)器管理的對(duì)象可以是PC服務(wù)器存儲(chǔ)設(shè)備、DVR設(shè)備、IP網(wǎng)絡(luò)攝像機(jī)，也可以是磁盤(pán)陣列或磁帶庫(kù)。

　　存儲(chǔ)容錯(cuò)技術(shù)設(shè)計(jì)

　　在平安城市項(xiàng)目上存儲(chǔ)系統(tǒng)應(yīng)該可以提供多層次的容錯(cuò)機(jī)制，以確報(bào)錄像儲(chǔ)存作業(yè)可以穩(wěn)定進(jìn)行，首先系統(tǒng)體系結(jié)構(gòu)上的容錯(cuò)技術(shù)。我們的系統(tǒng)支持分布式的集群技術(shù)，簡(jiǎn)單地講，每臺(tái)服務(wù)器正常執(zhí)行當(dāng)前的存儲(chǔ)任務(wù)，但是同時(shí)又作為其他服務(wù)器的后備集群節(jié)點(diǎn)。

　　當(dāng)集群系統(tǒng)某一節(jié)點(diǎn)出現(xiàn)故障，那么我們的底層通訊協(xié)議能夠準(zhǔn)確地監(jiān)測(cè)到這臺(tái)機(jī)器的問(wèn)題，這就是所謂的成員離開(kāi)事件，成員離開(kāi)事件將被可信協(xié)議遞交到集群中的每一個(gè)節(jié)點(diǎn)，它的備份服務(wù)器將立刻承擔(dān)起失敗節(jié)點(diǎn)的責(zé)任，進(jìn)行錄像。這就是容錯(cuò)功能。而當(dāng)失敗的節(jié)點(diǎn)修復(fù)后重新啟動(dòng)并開(kāi)始錄像，底層通訊協(xié)議能夠把這個(gè)重新加入的時(shí)間遞交給每一個(gè)節(jié)點(diǎn)，這是所謂的成員加入事件。備份服務(wù)器接收到這個(gè)時(shí)間以后就停止錄像，這就是錯(cuò)誤恢復(fù)功能。

　　第二個(gè)層次上的容錯(cuò)是在整個(gè)集群都和圖像源斷開(kāi)，不能進(jìn)行實(shí)時(shí)錄像。這個(gè)時(shí)候，我們通過(guò)計(jì)劃和實(shí)際的錄像執(zhí)行情況進(jìn)行補(bǔ)錄，請(qǐng)參見(jiàn)后面的計(jì)劃和補(bǔ)錄。

　　第三個(gè)層次的容錯(cuò)是在錄像分包時(shí)，每一個(gè)錄像文件結(jié)束和一個(gè)新的錄像文件開(kāi)始，系統(tǒng)都被冗余一部分?jǐn)?shù)據(jù)，以保證沒(méi)有任何圖像幀丟失。

　　存儲(chǔ)錄像計(jì)劃和補(bǔ)錄規(guī)劃

　　在平安城市存儲(chǔ)系統(tǒng)中每一個(gè)錄像組都可以具有自己的錄像計(jì)劃，錄像的執(zhí)行底層是我們的計(jì)劃和任務(wù)調(diào)度引擎。每次錄像過(guò)程中，系統(tǒng)都會(huì)紀(jì)錄錄像的運(yùn)行時(shí)間，系統(tǒng)的維護(hù)服務(wù)器，根據(jù)預(yù)定計(jì)劃和實(shí)際的執(zhí)行情況的差異性，我們可以計(jì)算出需要補(bǔ)錄的時(shí)間段。補(bǔ)錄系統(tǒng)將自動(dòng)從合適的DVR下載缺少的錄像信息。

　　錄像磁盤(pán)重整策略

　　當(dāng)存儲(chǔ)系統(tǒng)發(fā)現(xiàn)存儲(chǔ)的容量超過(guò)系統(tǒng)規(guī)定的最高警戒線，將開(kāi)始啟動(dòng)清盤(pán)任務(wù)，這個(gè)工作是由維護(hù)服務(wù)器來(lái)管理的，維護(hù)服務(wù)器將定時(shí)檢查磁盤(pán)的情況，進(jìn)行磁盤(pán)的清理、自動(dòng)導(dǎo)出等功能。系統(tǒng)提供集中磁盤(pán)重整策略，包括先進(jìn)先出，最近訪問(wèn)，最多訪問(wèn)，以及保留優(yōu)先權(quán)。在先進(jìn)先出的情況下，所有最先錄制的圖像數(shù)據(jù)將被刪除。而在最近訪問(wèn)策略中，越最近訪問(wèn)的錄像數(shù)據(jù)將被保留越久，越多訪問(wèn)策略則考慮整個(gè)系統(tǒng)用戶對(duì)數(shù)據(jù)的訪問(wèn)頻度，訪問(wèn)的人越多，錄像數(shù)據(jù)保留得越久。在所有這些策略中，都可以定義保留優(yōu)先級(jí)，如果某一通道的優(yōu)先保留權(quán)越高，那么它的資料將被越后刪除，并且系統(tǒng)可以定義保留的時(shí)間長(zhǎng)度。

　　結(jié)語(yǔ)

　　高清與海量存儲(chǔ)發(fā)展到網(wǎng)絡(luò)階段，在平安城市項(xiàng)目中重點(diǎn)不再僅僅是簡(jiǎn)單的存儲(chǔ)，而是如何能在海量信息當(dāng)中達(dá)到快速、準(zhǔn)確的錄像訪問(wèn)和存取才是大家關(guān)注的。存儲(chǔ)的管理功能格外重要，因此，如何為用戶提供高性能、穩(wěn)定、易擴(kuò)展、管理的解決方案才是 平安城市儲(chǔ)存解決方案迫切需要的。