方案組網(wǎng)圖

云存儲基本功能齊全

　　集群管理功能：使用三臺服務(wù)器，部署管理服務(wù)器集群，通過唯一虛擬IP訪問云存儲管理頁面，登錄管理界面，查看云存儲的運行狀態(tài)等基本信息。驗證了管理服務(wù)器集群部署成功，可以支持統(tǒng)一命名空間并以唯一虛擬IP對外提供業(yè)務(wù)服務(wù)。

　　視頻、圖片和文件功能：驗證了視頻、圖片和文件能夠通過視頻流直存方式成功寫入云存儲，并能對寫入文件進行下載，沒有經(jīng)過平臺流媒體服務(wù)器轉(zhuǎn)發(fā)。

　　智能斷網(wǎng)補錄功能：前端IPC、DVR和NVR本地錄像正常，拔掉IPC、DVR和NVR網(wǎng)線2分鐘后插回，查看錄像缺失和錄像補回的完整。驗證了智能斷網(wǎng)補錄功能。

　　歷史流補錄功能：前端IPC的SD卡中有歷史記錄，將配置的歷史流補錄計劃到云存儲中去，查看云存儲中已將歷史錄像寫入云存儲中，且回放正常。驗證了系統(tǒng)能支持歷史流補錄。

　　錄像回放功能：登錄管理平臺客戶端，任意查詢一段錄像，進行了(任意時間，2、4、8倍速，倒序，I幀連續(xù)，指定定位時間等)回放。驗證了系統(tǒng)能夠?qū)υ拼鎯χ袖浵襁M行精準、倍速、倒序、I幀及定位回放。

　　智能負載均衡功能：最大接入數(shù)減少的設(shè)備的實際接入數(shù)也減少，設(shè)備故障后，錄像點位也自動均衡到其他設(shè)備上。驗證了云存儲能夠根據(jù)設(shè)備硬件的差異，及性能、容量、IO、網(wǎng)絡(luò)等，進行智能負載均衡。

　　循環(huán)覆蓋功能：周期為1天的資源池，在第2天觸發(fā)周期覆蓋，前一天的視頻、圖片和文件被覆蓋，無法查詢和提取前一天的視頻、圖片和文件數(shù)據(jù);觸發(fā)容量覆蓋后，之前視頻、圖片和文件均被覆蓋，資源池可用空間增加，新的錄像、圖片和文件能持續(xù)寫入。驗證了云存儲能夠支持周期和容量覆蓋。

　　硬盤及設(shè)備在線擴展功能：新增硬盤后，云存儲集群總空間增加;新增設(shè)備后，集群容量增加，集群能夠自動負載均衡，新設(shè)備上有業(yè)務(wù)寫入，能夠在線新增硬盤及設(shè)備。

　　多云間互聯(lián)管理功能：在互聯(lián)中心上添加了兩朵云，能夠查看兩朵云的信息;A云故障后，A云上的計劃全部切換到B云上執(zhí)行，查詢錄像正常;A云恢復(fù)后，B云上的A云計劃自動切回A云，支持多云間互聯(lián)管理。

　　運維管理功能：云存儲運維能夠監(jiān)控云存儲的所有硬軟件的運行情況;觸發(fā)異常后，運維系統(tǒng)可通過多種方式對運維信息報警和統(tǒng)計。

可靠性測試表現(xiàn)優(yōu)秀

　　磁盤漫游功能：在任意設(shè)備間磁盤對調(diào)，云存儲集群空間不變;通過平臺查看錄像不丟失。

　　驗證了系統(tǒng)支持磁盤漫游，云內(nèi)磁盤任意插換，對數(shù)據(jù)無影響。

　　硬盤故障測試：云內(nèi)資源池數(shù)據(jù)冗余類型為4+2，在任意兩臺設(shè)備中拔出一塊硬盤，不影響錄像業(yè)務(wù)。將原盤插回，秒級恢復(fù);新盤插入后會觸發(fā)重構(gòu)，高速重構(gòu)恢復(fù)。驗證了系統(tǒng)支持多盤故障，讀寫業(yè)務(wù)也不中斷，歷史錄像不丟失;原盤插入后，秒級恢復(fù);新盤插入后，高速重構(gòu)恢復(fù)。

　　存儲節(jié)點故障測試：云內(nèi)資源池數(shù)據(jù)冗余類型為4+2，拔掉任意兩臺設(shè)備的網(wǎng)線，錄像業(yè)務(wù)不受影響。原設(shè)備恢復(fù)，數(shù)據(jù)立即恢復(fù)，不觸發(fā)重構(gòu)。設(shè)備不恢復(fù)，觸發(fā)重構(gòu)，統(tǒng)計重構(gòu)耗時。驗證了系統(tǒng)支持多存儲節(jié)點故障時錄像和回放功能正常。

　　EC類型在線修改：資源池EC類型由4+1修改成4+2后，云存儲可故障節(jié)點數(shù)增大到2臺。資源池EC類型由4+2修改成5+1后，云存儲可用空間增大。在以上操作過程中，錄像業(yè)務(wù)不受影響。驗證了系統(tǒng)支持在線修改EC類型。

　　降級讀寫功能：：將多臺存儲節(jié)點下線只留一臺，歷史錄像能夠回放但畫面有跳幀，新寫入錄像能夠正?；胤?。驗證了系統(tǒng)節(jié)點故障數(shù)量超過上限時，系統(tǒng)能夠進行文件讀寫。

　　高可用性功能：元數(shù)據(jù)服務(wù)器任意一臺故障(拔掉網(wǎng)線)，錄像能夠正常讀寫，歷史錄像不丟失。元數(shù)據(jù)服務(wù)器兩臺故障(拔掉網(wǎng)線)，錄像只能寫，查詢回放受影響，歷史錄像不丟失。元數(shù)據(jù)服務(wù)器全部故障(拔掉網(wǎng)線)，錄像只能寫，查詢回放受影響，歷史錄像不丟失。所有的元數(shù)據(jù)服務(wù)器恢復(fù)后，錄像查詢回放下載正常，歷史錄像不丟失。驗證了系統(tǒng)支持元數(shù)據(jù)服務(wù)器部分和所有故障時，云存儲錄像數(shù)據(jù)不丟失。

性能優(yōu)越

　　視頻下載性能：使用客戶端工具下載任意一個前端錄像，錄像文件下載成功，下載速度不低于80MB/S。下載5GB文件，耗時62S，平均速度為82MB/S。

　　圖片下載性能：通過客戶端工具下載圖片，圖片下載成功。云存儲下載10000張300K大小圖片，耗時14S，平均714張/S。

　　視頻云存儲系統(tǒng)

　　?？低曖槍Υ笕萘恳曨l數(shù)據(jù)的存儲和管理以及滿足視頻監(jiān)控領(lǐng)域的應(yīng)用需求，結(jié)合對象存儲技術(shù)、分布式EC技術(shù)等設(shè)計了這套云存儲系統(tǒng)。該系統(tǒng)采用軟硬件一體化設(shè)計，通過將云存儲技術(shù)與安防行業(yè)智能應(yīng)用、大數(shù)據(jù)技術(shù)深度融合，提供了專業(yè)、靈活、智能、可靠的云存儲服務(wù)。

　　這套云存儲系統(tǒng)可以同時應(yīng)用于接入視頻、圖片、文件的混合流直接存儲，承擔(dān)整個系統(tǒng)內(nèi)的視頻/圖片的數(shù)據(jù)寫入/讀取工作。系統(tǒng)一方面采用了基于云架構(gòu)的分布式集群設(shè)計和虛擬化設(shè)計，在系統(tǒng)內(nèi)部實現(xiàn)了多設(shè)備協(xié)同工作、性能和資源的虛擬整合，最大限度利用了硬件資源和存儲空間。另一方面，通過將存儲功能、管理功能進行打包，通過開放透明的應(yīng)用接口和簡單易用的管理界面，與上層應(yīng)用平臺整合后，為整個安防監(jiān)控系統(tǒng)提供了高效、可靠的數(shù)據(jù)存儲服務(wù)。

視頻云存儲系統(tǒng)應(yīng)用架構(gòu)圖

　　?？低曇曨l云存儲的存儲系統(tǒng)由存儲管理服務(wù)器(存儲管理節(jié)點CVMN)、存儲設(shè)備(存儲節(jié)點CVSN)構(gòu)成。在硬件架構(gòu)中根據(jù)節(jié)點功能需要來集成視頻云存儲軟件模塊功能，主要包括視頻云存儲應(yīng)用軟件模塊和對象存儲軟件模塊等。

　　視頻云存儲管理節(jié)點: CVMN(Cloud Video Manage Node)(亦稱元數(shù)據(jù)服務(wù)器)其主要功能包括視頻云存儲系統(tǒng)內(nèi)資源管理、存儲節(jié)點管理、集群管理、策略調(diào)度、運維監(jiān)控等。

　　管理節(jié)點集群部署模式適用于較大型的視頻云存儲系統(tǒng)，可以進行三臺或三臺以上配備。集群部署的優(yōu)勢在于通過視頻云存儲管理節(jié)點內(nèi)部集群功能來協(xié)調(diào)各節(jié)點設(shè)備資源，將用戶配置、數(shù)據(jù)庫信息、策略計劃進行統(tǒng)一調(diào)度，整體性能呈現(xiàn)線性增長。同時也增加了系統(tǒng)的可靠性，多臺設(shè)備的故障不會影響到系統(tǒng)的運行。

　　視頻云存儲存儲節(jié)點：CVSN(Cloud Video Storage Node)(即存儲設(shè)備)是一套具有容量提供、數(shù)據(jù)讀寫、業(yè)務(wù)應(yīng)用集成為一體的專有化存儲設(shè)備。主要是響應(yīng)視頻云存儲管理節(jié)點(CVMN)和應(yīng)用層的錄像、查詢、下載等操作申請，以及管理物理存儲設(shè)備和空間。

　　視頻云存儲節(jié)點模塊具有以下功能：負責(zé)根據(jù)接收云存儲管理節(jié)點下發(fā)的錄像計劃，并根據(jù)錄像計劃向?qū)?yīng)的前端攝像頭進行取流操作。負責(zé)將接收到的錄像數(shù)據(jù)寫入到存儲底層或從存儲底層讀取數(shù)據(jù)，通過協(xié)議接口主要向上層提供錄像、查詢、回放及下載服務(wù)。提供存儲設(shè)備的狀態(tài)檢測和信息上報功能。

　　存儲底層由流式文件系統(tǒng)對硬件資源進行整合，同時使用分布式EC技術(shù)來保證數(shù)據(jù)安全，并對業(yè)務(wù)功能提供容量空間完成數(shù)據(jù)存儲。

系統(tǒng)特點

系統(tǒng)拓展設(shè)計

　　1.系統(tǒng)橫向擴展

　　?？档倪@套云存儲系統(tǒng)支持在線橫向擴展，在線業(yè)務(wù)持續(xù)運行的情況下，可以動態(tài)增加或縮小云存儲系統(tǒng)的容量，不影響現(xiàn)有業(yè)務(wù)運行。云存儲系統(tǒng)正常運行下可在線動態(tài)增加刪除節(jié)存儲點，存儲節(jié)點的容量可根據(jù)需要劃分入現(xiàn)有資源池或獨立創(chuàng)建資源采集，對業(yè)務(wù)層僅表現(xiàn)為存儲容量的增加和刪除。

　　增加新的存儲節(jié)點時，配置好節(jié)點的網(wǎng)絡(luò)地址，即可加入系統(tǒng)工作，實現(xiàn)一鍵擴展，快速部署。系統(tǒng)能統(tǒng)一管理不同型號，不同存儲盤位的數(shù)據(jù)節(jié)點。系統(tǒng)具有線性擴展的特性，容量增加時，整體的讀寫性能也同步增加。同時，系統(tǒng)容量和每個Bucket容量的擴展可快速生效，數(shù)據(jù)自動遷移保持容量利用均衡。

　　2.數(shù)據(jù)高速恢復(fù)

　　?？档倪@套云存儲系統(tǒng)采用ErasureCode算法N+M可靠性機制，在系統(tǒng)規(guī)模設(shè)計時將條帶中的塊數(shù)據(jù)分散到不同設(shè)備中存儲，因此系統(tǒng)中若干硬盤或者設(shè)備故障都只會損失部分塊數(shù)據(jù)。由于系統(tǒng)運用的糾刪碼算法所需要的塊數(shù)據(jù)分散在不同設(shè)備、不同硬盤中，因此啟動數(shù)據(jù)恢復(fù)算法時可利用多臺設(shè)備性能，極快速恢復(fù)出故障硬盤或設(shè)備中的數(shù)據(jù)，保障用戶數(shù)據(jù)的不丟失，讀取業(yè)務(wù)不中斷，降低硬件故障、網(wǎng)絡(luò)異常等給系統(tǒng)造成的數(shù)據(jù)丟失風(fēng)險，提供可高可靠的數(shù)據(jù)保障機制。目前云存儲系統(tǒng)最大支持N+4級別數(shù)據(jù)保障。

　　3.數(shù)據(jù)智能重構(gòu)

　　?？狄曨l云存儲系統(tǒng)采用分布式EC算法，在數(shù)據(jù)恢復(fù)和重構(gòu)的速度方面相比傳統(tǒng)RAID技術(shù)有了大幅的提升。高效的數(shù)據(jù)恢復(fù)速度在安防數(shù)據(jù)存儲業(yè)務(wù)中為數(shù)據(jù)的快速訪問和不間斷訪問提供了有利的支持。

　　同時?？低曇曨l云存儲系統(tǒng)結(jié)合安防行業(yè)特點，深入理解安防行業(yè)數(shù)據(jù)應(yīng)用場景，結(jié)合Erasure Code數(shù)據(jù)重構(gòu)速度快的特點，針對安防數(shù)據(jù)的重要程度實現(xiàn)可分級重構(gòu)。即可定義數(shù)據(jù)優(yōu)先級，在出現(xiàn)大范圍設(shè)備損壞時，保障高級別數(shù)據(jù)優(yōu)先重構(gòu)，從而更加快捷、智能的保障用戶數(shù)據(jù)應(yīng)用的實時性。

　　海康威視推出的這套專業(yè)的云存儲系統(tǒng)非常適合安防行業(yè)應(yīng)用，能為安防監(jiān)控平臺“減負”，能精簡、優(yōu)化安防的存儲架構(gòu)，有較強、較好的用戶體驗。

社方觀點

　　大量的高清視頻監(jiān)控產(chǎn)生了巨大的視頻數(shù)據(jù)流，傳統(tǒng)安防數(shù)據(jù)從采集、傳送、存儲到處理的整個過程中，存儲和處理大約占據(jù)了80%以上的服務(wù)器資源。海康威視針對大容量視頻數(shù)據(jù)的存儲和管理以及滿足安防視頻監(jiān)控領(lǐng)域的應(yīng)用需求，設(shè)計了一套專業(yè)級的海量數(shù)據(jù)云存儲系統(tǒng)。

　　1. 系統(tǒng)采用高可靠性、高穩(wěn)定性的集群部署模式，可實現(xiàn)單臺或多臺節(jié)點故障切換和實時動態(tài)負載均衡控制，提升資源利用率，降低設(shè)備的壓力，單/多節(jié)點故障時數(shù)據(jù)不會丟失，數(shù)據(jù)的采集、傳輸、存儲和處理過程中的安全性高。支持統(tǒng)一命名空間，以唯一的業(yè)務(wù)虛擬IP地址對外提供服務(wù)，簡化了用戶訪問和應(yīng)用流程。

　　2. 系統(tǒng)采用了流媒體直存技術(shù)，具有視頻、圖片、文件三類數(shù)據(jù)流的存儲、預(yù)覽、檢索、壓縮、回放、下載、備份、補錄等使用功能齊全，前端接入?yún)f(xié)議標(biāo)準、開放，平臺兼容性強，操作使用便捷，界面友好。實現(xiàn)海量數(shù)據(jù)的快速檢索，真真做到億條數(shù)據(jù)秒級檢索。

　　3. 系統(tǒng)具有高擴展性、自動化運維、節(jié)省成本三大優(yōu)勢。可以無限擴展存儲容量，能自動對云存儲系統(tǒng)內(nèi)數(shù)量龐大的軟、硬件全方位監(jiān)控，自動收集軟、硬件運行數(shù)據(jù)，為用戶提供機群實時體檢、故障在線告警、實時故障排查、運維數(shù)據(jù)統(tǒng)計分析報表等等服務(wù)。使用云存儲后，用戶不必擔(dān)心設(shè)備升級、數(shù)據(jù)遷移、設(shè)備維護等，可節(jié)省大量費用。

　　4. 海康的云存儲服務(wù)非常適合公安、交通、司法、政府、金融、辦公園區(qū)、文教等視頻、圖片等數(shù)據(jù)流大的行業(yè)使用。同時?？低曉谝曨l云存儲、數(shù)據(jù)結(jié)構(gòu)化、處理智能化相結(jié)合的產(chǎn)品上還在加大研發(fā)投入，研發(fā)出更適合各種大、中、小用戶即插即用的、軟硬件結(jié)合的云存儲產(chǎn)品。并在進一步降低用戶使用成本，正確把握各種用戶需求，追求更好的用戶體驗上做好領(lǐng)頭羊。

方案特色

　　1. 該方案是?？低暈檫m應(yīng)安防大數(shù)據(jù)EB級增長的海量存儲需求，采用軟硬件一體化設(shè)計，通過將云存儲技術(shù)與安防行業(yè)的智能應(yīng)用、大數(shù)據(jù)技術(shù)進行深度融合，面向用戶提供的專業(yè)、靈活、智能、安全、可靠的云存儲服務(wù)。

　　2. 方案在前端支持視頻、圖片、文件的統(tǒng)一混合存儲，視頻、圖片采用流媒體直存技術(shù)。在存儲端支持24、36、48等多種盤位存儲設(shè)備，支持元數(shù)據(jù)服務(wù)器集群部署模式。支持符合標(biāo)準協(xié)議(GB28281/ONVIF/PSIA/RTSP/SIP流媒體協(xié)議)的第三方設(shè)備接入，并提供開放、標(biāo)準的接入?yún)f(xié)議。支持用戶采用SDK、HTTP、兼容亞馬遜S3協(xié)議等方式與?？灯叽笮袠I(yè)平臺對接，提供云存儲服務(wù)。

　　3. 方案采用獨有的具有自主知識產(chǎn)權(quán)的流式數(shù)據(jù)結(jié)構(gòu)存儲技術(shù)，消除文件系統(tǒng)的瓶頸，滿足視頻大數(shù)據(jù)的持續(xù)寫入，可大幅提升存儲效率。設(shè)備采用集群化運行技術(shù)，激活了存儲的潛能，全面提升了動態(tài)負載均衡能力。數(shù)據(jù)采用分布式存儲技術(shù)，可并發(fā)提取，實現(xiàn)了數(shù)據(jù)的高速下載。系統(tǒng)以集群方式對外提供唯一的IP接口作為訪問地址來實現(xiàn)存儲+應(yīng)用。是以應(yīng)用視角來優(yōu)化存儲的專業(yè)安防云存儲系統(tǒng)。

　　4. 方案在信息傳輸安全上采用了寫入權(quán)限認證、通信協(xié)議加密等技術(shù)，在數(shù)據(jù)存儲安全上采用了EC糾刪碼的網(wǎng)絡(luò)RAID等技術(shù)。能實現(xiàn)節(jié)點間數(shù)據(jù)冗余保護，支持多種N+M冗余容錯機制，系統(tǒng)能容忍多臺設(shè)備、多塊硬盤同時損壞而數(shù)據(jù)不丟失，系統(tǒng)無單點故障，多接點故障時系統(tǒng)自動切換接管，業(yè)務(wù)不中斷，保障數(shù)據(jù)完整、安全、穩(wěn)定、可靠。

　　5. 方案采用獨立的運維平臺來對視頻云存儲硬件、軟件和系統(tǒng)三大模塊中的系統(tǒng)壓力、使用空間、硬件節(jié)點、監(jiān)控點位等中的各種信息進行統(tǒng)一采集、報表統(tǒng)計和運維管理。對系統(tǒng)設(shè)備和資源服務(wù)狀態(tài)實時查看，對多云實行統(tǒng)一設(shè)備和訪問控制權(quán)限管理。當(dāng)云存儲系統(tǒng)的軟硬件運行異常時，運維系統(tǒng)經(jīng)過統(tǒng)計分析后可通過多種方式觸發(fā)報警，并以顯示，短信、語音、郵件等方式發(fā)送告警信息，方便實時監(jiān)控云存儲的運行。大大降低了運維人員對視頻云存儲系統(tǒng)的維護難度。并支持與標(biāo)準的SNMP協(xié)議對接。