盤點近幾年的IT領(lǐng)域熱門詞匯:大數(shù)據(jù)、云計算、虛擬化、云存儲、云服務(wù)等,幾乎貫穿到所有信息技術(shù)領(lǐng)域的產(chǎn)品推廣、解決方案和系統(tǒng)規(guī)劃中。這意味著未來信息領(lǐng)域發(fā)展和建設(shè)的大時代——云時代的來臨。
作為云時代海量數(shù)據(jù)的來源之一,安防視頻監(jiān)控行業(yè)隨著智慧城市和智能交通的快速發(fā)展、移動互聯(lián)設(shè)備的快速激增,產(chǎn)生了海量的非結(jié)構(gòu)化視音頻數(shù)據(jù),帶動了大數(shù)據(jù)的存儲、管理、分析等應(yīng)用。面向云時代,業(yè)界同仁一擁而上、熱血沸騰,無論是IT供應(yīng)商、存儲廠商、還是解決方案提供商都不甘落后,雨后春筍般的紛紛提出基于計算、存儲、網(wǎng)絡(luò)等多層次虛擬化的數(shù)據(jù)中心解決方案,投入大量資源,推出云存儲、云計算等系統(tǒng)產(chǎn)品。
面對安防行業(yè)近來的“云”山“物”罩,云存儲技術(shù)優(yōu)勢有哪些、如何在智慧城市中逐步落地不斷實踐以及未來還面臨哪些問題,我將發(fā)表個人觀點,意在拋磚引玉、引發(fā)業(yè)界同仁在產(chǎn)業(yè)發(fā)展的進一步思考和討論。
與傳統(tǒng)集中式存儲相比,分布式存儲系統(tǒng)將數(shù)百上千的存儲節(jié)點組織為統(tǒng)一的存儲系統(tǒng),其橫向擴展特性克服了物理機架和模塊在性能、容量、容災(zāi)能力等方面的限制,可通過增加控制器或是容量節(jié)點來實現(xiàn)性能和容量的獨立升級,提高IT投入的回報率。同時,在線線性擴展能力為業(yè)務(wù)的長期高性價比提供保障。解決了傳統(tǒng)單一系統(tǒng),模塊化系統(tǒng)需要物理磁盤級別的管理、數(shù)據(jù)布局和性能調(diào)優(yōu)的弊端。
分布式儲存解決方案正在用戶層面快速普及。分布式存儲平臺不僅能夠提升性能而且還可以降低操作成本,使單一系統(tǒng)在單一全局域名下,簡單地擴展到若干PB容量范圍,成為管理快速增長數(shù)據(jù)的理想存儲平臺。
業(yè)內(nèi)主流的云存儲架構(gòu)可分為存儲硬件和存儲系統(tǒng)軟件兩部分,存儲硬件包含物理節(jié)點以及網(wǎng)絡(luò)交換設(shè)備;存儲系統(tǒng)軟件包括統(tǒng)一存儲池、多協(xié)議訪問兩部分。統(tǒng)一存儲池負責(zé)硬件存儲資源的整合、數(shù)據(jù)在各硬件節(jié)點的冗余分布和負載均衡。多協(xié)議訪問,為上層應(yīng)用提供文件、塊、對象訪問接口。
與傳統(tǒng)存儲設(shè)備不同,云存儲不僅是一個硬件,而是一個由網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、服務(wù)器、軟件、接入網(wǎng)絡(luò)、用戶訪問接口以及客戶端程序等多個部分構(gòu)成的復(fù)雜系統(tǒng)。該系統(tǒng)以存儲設(shè)備為核心,通過應(yīng)用層軟件對外提供數(shù)據(jù)存儲和業(yè)務(wù)服務(wù)。存儲硬件層是云存儲系統(tǒng)的基礎(chǔ),由存儲設(shè)備(滿足FC協(xié)議、iSCSI協(xié)議、NAS協(xié)議等)構(gòu)成。存儲軟件層是云存儲系統(tǒng)的核心,其擔負著存儲設(shè)備間協(xié)同工作,數(shù)據(jù)加密,分發(fā)以及容災(zāi)備份等工作。存儲應(yīng)用層是系統(tǒng)中根據(jù)用戶需求來開發(fā)的部分,根據(jù)不同的業(yè)務(wù)類型,可以開發(fā)出不同的應(yīng)用服務(wù)接口。訪問層指授權(quán)用戶通過應(yīng)用接口來登錄、享受云服務(wù)。
云存儲主要優(yōu)勢在于:
`硬件冗余,數(shù)據(jù)更安全
`節(jié)能環(huán)保,效益更顯著
`系統(tǒng)升級不會影響存儲服務(wù)
`海量橫向擴展能力
`強大的負載均衡功能
`統(tǒng)一管理、統(tǒng)一向外提供服務(wù),管理效率高
云存儲系統(tǒng)從系統(tǒng)架構(gòu)、文件結(jié)構(gòu)、高速緩存等方面入手,針對監(jiān)控應(yīng)用進行了優(yōu)化設(shè)計。數(shù)據(jù)傳輸可采用流方式,底層采用突破傳統(tǒng)文件系統(tǒng)限制的流媒體數(shù)據(jù)結(jié)構(gòu),大幅提高了系統(tǒng)性能。
高清監(jiān)控存儲是一種大碼流多并發(fā)寫為主的存儲應(yīng)用,對性能、并發(fā)性和穩(wěn)定性等方面有很高的要求。該存儲解決方案采用獨特的大緩存順序化算法,把多路隨機并發(fā)訪問變?yōu)轫樞蛟L問,解決了硬盤磁頭因頻繁尋道而導(dǎo)致的性能迅速下降和硬盤壽命縮短的問題。
針對系統(tǒng)中會產(chǎn)生PB級海量監(jiān)控數(shù)據(jù),存儲設(shè)備的數(shù)量達數(shù)十臺上百臺,因此管理方式的科學(xué)高效顯得十分重要。云存儲可提供基于集群管理技術(shù)的多設(shè)備集中管理工具,具有設(shè)備集中監(jiān)控、集群管理、系統(tǒng)軟硬件運行狀態(tài)的監(jiān)控、主動報警,圖像化系統(tǒng)檢測等功能。
在海量視頻存儲檢索應(yīng)用中,檢索性能尤為重要。傳統(tǒng)文件系統(tǒng)中,文件檢索采用的是“目錄->子目錄->文件->定位”的檢索步驟,在海量數(shù)據(jù)的高清視頻監(jiān)控,目錄和文件數(shù)量十分可觀,這種檢索模式的效率就會大打折扣。采用序號文件定位可以有效解決該問題。
云存儲可以提供非常高的系統(tǒng)冗余和安全性。當在線存儲系統(tǒng)出現(xiàn)故障后,熱備機可以立即接替服務(wù),當故障恢復(fù)時,服務(wù)和數(shù)據(jù)回遷;若故障機數(shù)據(jù)需要調(diào)用,可以將故障機的磁盤插入到冷備機中,實現(xiàn)所有數(shù)據(jù)的立即可用。
對于高清監(jiān)控系統(tǒng),隨著監(jiān)控前端的增加和存儲時間的延長,擴展能力十分重要。市場中已有友商可提供單純針對容量的擴展柜擴展模式和性能容量同步線性擴展的堆疊擴展模式。
云存儲在智慧城市的實踐應(yīng)用
目前智慧城市中的平安城市和智能交通領(lǐng)域,建設(shè)的前端點位越來越多,分辨率也從1080P逐步向400W、4K演變,存儲空間需求激增。此外由于歷史原因,智慧城市存儲系統(tǒng)往往面臨著,分布式存儲和集中存儲混搭、標清高清混搭以及不同品牌不同架構(gòu)設(shè)備混搭的局面。
如何在有限的政府預(yù)算和投資下,盡可能的提升數(shù)據(jù)安全、廣泛兼容利舊設(shè)備建造以及響應(yīng)未來大數(shù)據(jù)共享、挖掘等應(yīng)用需求,是各家存儲廠商不得不面對的問題。結(jié)合天地云存儲在智慧城市領(lǐng)域的應(yīng)用和實踐,我們覺得云存儲可為甲方帶來豐富的用戶價值。
平安城市領(lǐng)域
云存儲產(chǎn)品方案的實施有助于設(shè)備利舊改造,云存儲產(chǎn)品可以充分利用用戶已有投資,將一期IPSAN/平臺型NVR等存儲系統(tǒng)內(nèi)的存儲設(shè)備改造成云存儲設(shè)備,實現(xiàn)存儲系統(tǒng)的在線升級。其次采用了全域虛擬化技術(shù)的云存儲架構(gòu),可以將所有存儲設(shè)備中的存儲資源進行虛擬化整合,對外呈現(xiàn)為一個超大的存儲資源池。整合后的存儲資源池,可以采用虛擬和邏輯的方式,進行彈性的擴大或縮小,以達到系統(tǒng)存儲資源的最大化合理利用,給予用戶更直觀、更便捷的操作體驗。針對幾千臺高清前端的存儲需求,單套云存儲系統(tǒng)可以完美兼容,充分顯示了單套云存儲系統(tǒng)的穩(wěn)定性和高效性,體現(xiàn)了云存儲系統(tǒng)性能與容量線性增長的特質(zhì)。
云存儲系統(tǒng)支持在線式的存儲改造與擴容,通過軟硬件升級,將往期IPSAN設(shè)備進行云存儲系統(tǒng)改造,加入云存儲系統(tǒng)存儲集群內(nèi)。擴展時云存儲管理服務(wù)器對設(shè)備壓力進行動態(tài)調(diào)整,保障已有的錄像業(yè)務(wù)不受影響,從而實現(xiàn)存儲設(shè)備的在線擴容。同時云存儲系統(tǒng),采用全集群化設(shè)計,本質(zhì)上具有的很高的穩(wěn)定性及可靠性。一般情況下不會發(fā)生設(shè)備故障,即是是在特殊情況下,出現(xiàn)單臺甚至多臺設(shè)備的故障,云存儲系統(tǒng)也會進行統(tǒng)一調(diào)度,由集群內(nèi)其它設(shè)備繼承故障的業(yè)務(wù),從而保障錄像業(yè)務(wù)不中斷。
智能交通領(lǐng)域
云存儲可以通用采用虛擬化的容量管理方式,對外呈現(xiàn)為一個超大的存儲資源池,打破了單臺設(shè)備的設(shè)備資源和存儲資源瓶頸。然后根據(jù)項目實際圖片存儲需求按需分配存儲空間,劃分多個個圖片存儲池。劃分后的圖片存儲池依然采用虛擬和邏輯的方式,可以彈性的進行擴大或縮小以保證系統(tǒng)存儲資源最大化利用。其次云存儲系統(tǒng)可以支持雙網(wǎng)雙平臺的安全存儲方案,分別與共享平臺和公安聯(lián)網(wǎng)平臺協(xié)調(diào)互動。云存儲系統(tǒng)通過采用集群虛擬IP技術(shù)對外提供唯一訪問接口,以及提供標準化通信接口降低與共享平臺和公安聯(lián)網(wǎng)平臺的對接難度,為上層應(yīng)用提供高效的業(yè)務(wù)響應(yīng)能力,保證兩套云存儲系統(tǒng)數(shù)據(jù)安全完整一致。
云存儲系統(tǒng)可以提供豐富的高性能的圖片存儲服務(wù),通過提供標準的API接口(如:圖片寫入、下載、壓縮、鎖定、覆蓋等)供上層平臺調(diào)用,簡化業(yè)務(wù)流程,有效提高了業(yè)務(wù)響應(yīng)能力。比如:通過一體化索引設(shè)計技術(shù)在每次圖片數(shù)據(jù)存儲完成后,系統(tǒng)將圖片索引信息記錄在存儲管理節(jié)點中。這樣上層應(yīng)用平臺僅一次查詢就能提取到圖片的檢索信息;另外還可以通過云存儲按照時間段批量下載圖片信息或通過獲取URL下載指定圖片信息。
同時云存儲支持視頻/圖片的混存方式,一套系統(tǒng)既能存視頻,又能存圖片。相比于傳統(tǒng)的存儲技術(shù),視頻云存儲系統(tǒng)的這一特點為用戶節(jié)省了大量投資,減少了用戶在視頻、圖片綜合存儲時的操作和配置工作。
云存儲未來面臨問題
標準,是云存儲未來面臨的核心問題!在云存儲整個產(chǎn)業(yè)鏈的發(fā)展過程中,硬件設(shè)備及系統(tǒng)、軟件服務(wù)與安全都是必不可少的環(huán)節(jié),云存儲產(chǎn)業(yè)的發(fā)展離不開標準的支持,目前國內(nèi)還缺乏云存儲技術(shù)的相關(guān)標準。云存儲行業(yè)存在眾多的云存儲標準,其中市場較為認可的有亞馬遜S3接口標準和SINA標準。同時,業(yè)界也推出了一些測試標準,如SPC、SPEC和SNIA,推出綠色存儲計劃的節(jié)能減排標準及2014年剛啟動編撰的公安行業(yè)云存儲標準?,F(xiàn)有的標準大多還僅局限于服務(wù)的接口標準化,對于管理接口、控制命令、系統(tǒng)的硬件標準很少涉及。在實際應(yīng)用過程中,不同云存儲服務(wù)提供商、云存儲設(shè)備間的互通在管理、控制方面存在較多問題。同時,云存儲也不局限于對象存儲范疇,包括數(shù)據(jù)庫、半結(jié)構(gòu)化數(shù)據(jù)等類型的存儲,目前還沒有相關(guān)云化標準。
技術(shù)和產(chǎn)業(yè)的發(fā)展離不開標準的支持。云存儲本身還是一個新興的事物,在其發(fā)展過程中,標準化建設(shè)是一項極為重要的常規(guī)性工作。一個行業(yè)的標準水平如何,直接標志著這個行業(yè)的發(fā)展品質(zhì)和發(fā)展水平。
結(jié)語
云存儲系統(tǒng)未來在平臺對接整合、業(yè)務(wù)流程梳理、視頻數(shù)據(jù)智能分析深度挖掘及成本方面都將面臨挑戰(zhàn)。承建大型系統(tǒng)、構(gòu)建云存儲的商業(yè)模式也亟待創(chuàng)新。受限于寬帶網(wǎng)絡(luò)、web2.0技術(shù)、應(yīng)用存儲技術(shù)、文件系統(tǒng)、P2P、數(shù)據(jù)壓縮、CDN技術(shù)、虛擬化技術(shù)等的發(fā)展,未來云存儲還有很長的路要走。但我相信隨著云存儲、云計算以及大數(shù)據(jù)應(yīng)用技術(shù)的成熟和完善,行業(yè)勢必會更快速的發(fā)展。云時代的到來已為我們指明了方向,云存儲技術(shù)就像是奠定未來世界的基石,讓我們可以更加經(jīng)濟的進行系統(tǒng)建設(shè),更加高效的進行數(shù)據(jù)分析,更加有力的推動社會的進步和發(fā)展。