前言:AI、5G、IoT等技術的快速發(fā)展,帶來海量數據爆炸式增長。IDC全球數據空間預測報告指出,2018年全球產生的數據量是32ZB,預計2023年將會增長到103ZB*,這預示著我們即將進入到萬億字節(jié)數據的新時代。
數字經濟時代,各行各業(yè)都在挖掘數據的應用價值,數據是基礎,而存儲是基石。數據的爆炸式增長以及摩爾定律的即將失效,對現有存儲介質和存儲架構發(fā)出了全新的挑戰(zhàn)。作為全球數據技術的領導者,面對即將到來的ZB級數據時代,西部數據將如何應對,且看他們的思考和布局。
品牌整合 強化西部數據品牌影響力
從2009年開始,為了不斷契合市場需求,持續(xù)完善存儲產品線,這十多年來,西部數據一路下來完成了多啟收購和兼并,形成了WD、HGST、閃迪(SanDisk)、G-Technology、tegile、upthere等多品牌林立的局面。
▲西部數據公司高級副總裁兼中國區(qū)總經理Steven Craig
西部數據公司高級副總裁兼中國區(qū)總經理Steven Craig敏銳的意識到,品牌眾多并不利于公司的產品定位和用戶選擇。過去一年里,在Steven Craig的帶領下,西部數據果斷的開啟了對“一個西部數據Western Digital”品牌形象的調整和整合,將公司企業(yè)級、商務級存儲產品品牌包括HGST、tegile等統(tǒng)一規(guī)整到Western Digital這個品牌當中,以便能夠更好的形成品牌合力,更聚焦的塑造西部數據Western Digital的品牌知名度和影響度。
不過在此次品牌整合過程中,Steven Craig也充分考慮到了市場對于西部數據部分子品牌的既有印象,對于在消費級市場擁有強大品牌影響力的閃迪和WD兩個品牌進行了保留,讓消費市場可以延續(xù)這兩大品牌的市場影響力。
“對于以后的產品規(guī)劃和發(fā)布,我們希望通過品牌的整合能夠讓大眾對“一個西部數據”這樣的品牌形象有更深刻的理解?!?Steven Craig表示。
此次品牌調整,除了對品牌進行清晰定位的考慮之外,Steven Craig還談到另一個重要原因,他指出:“像西部數據這樣一個擁有近7萬員工及近13800項專利的全球性的大型公司,我們還希望通過品牌的統(tǒng)一,能夠更好的促進公司的人才、專利及市場渠道等各項資源的融合交流,集中力量對外輸出西部數據的產品和服務,強化Western Digital的影響力和知名度。
作為一個業(yè)務線遍布全球的國際公司,同時又是領先的數據技術領導者,清晰的品牌定位以及獨具特色的產品組合無疑都可以幫助用戶更好的進行選擇。為了強化品牌形象和產品特色,西部數據一貫的“顏色”策略如今已在行業(yè)市場被用戶廣泛認可。
“通過不同的產品顏色來面向不同的行業(yè)市場進行推廣是西部數據比較熱衷的策略,目前我們已經成功推出了面向消費市場的綠盤和藍盤,面向具有高性能需求的游戲領域的黑盤,面向NAS市場的紅盤,專為安防監(jiān)控市場打造的紫盤以及數據中心專用的金盤等一系列硬盤產品。顏色策略是一個非常有效的推廣模式,通過顏色的分類讓西部數據在相應的市場上有更強的市場認同度,更好的品牌知名度?!盨teven Craig補充道。
回顧過去一年,西部數據一方面大刀闊斧的進行Western Digital的品牌整合,另一方面,面對全球數據的爆發(fā)式增長對存儲產業(yè)所帶來的全新挑戰(zhàn),西部數據也在持續(xù)探索創(chuàng)新技術應用和系統(tǒng)重構的可能性,旨為大型數據中心提前布局萬億字節(jié)時代的最優(yōu)數據存儲方案。
提前布局萬億字節(jié)新時代
隨著5G、IoT、AI、超高清技術的發(fā)展,數據將產生爆炸性的增長。據IDC全球數據空間預測報告指出,2018年全球產生的數據量是32ZB,預計2023年將會增長到103ZB*【注解】,這意味著在我們即將進入到一個階段性的ZB級數據時代。但IDC報告同時也指出,在2018年全球產生的32ZB數據量中只有5ZB的數據被保存下來,占比不到16%,到2023年能夠被保存下來的數據預計將有12ZB,占比12%。
業(yè)界很多人將數據比作石油、黃金,數據的價值不言而喻,將海量數據保存下來是深挖數據應用價值的前提。但現階段受觀念、成本、傳統(tǒng)存儲架構等因素的限制,我們還無法將所有這些產生的數據存儲保留下來。
“我們希望能夠推出更多合適的產品來助力越來越多的數據存儲下來,在各個數據鏈條的節(jié)點上面,更多的數據如果被存儲被分析,它就能夠帶來更大的數據價值和商業(yè)價值,也能夠為人工智能、大數據、機器學習的創(chuàng)新技術應用奠定更廣泛的數據基礎,通過技術的使能讓數據價值真正得以發(fā)揮并為產業(yè)賦能。”Steven Craig強調。
數據的指數級增長直觀地驅動著存儲設備朝著更高容量、更高密度以及更快讀寫速度的方向發(fā)展。重新審視當下的存儲架構、存儲介質和存儲密度是否能夠滿足ZB級數據時代的發(fā)展需求,同時還要兼顧數據存儲的有效性和低成本,是時代交給西部數據的核心命題。
SMR突破物理極限瓶頸 刷新單盤面密度記錄
面對數據的高速增長,大容量存儲成為顯著需求,今年9月初,西部數據發(fā)布了兩款大容量產品18TB Ultrastar DC HC550 CMR HDD和20TB Ultrastar DC HC650 SMR HDD,其中18 TB的產品是傳統(tǒng)的CMR硬盤,而20 TB的產品特別采用了西部數據的SMR(shingled magnetic recording,疊瓦式磁記錄)技術。
SMR技術的推出和采用,為正逼近物理極限的傳統(tǒng)磁盤找到了新的突破口。和傳統(tǒng)磁盤相比,SMR盤通過疊瓦式寫入可以實現在相同的面積內容納更多的磁道,從而提高了存儲面密度,據了解可以實現將近15-20%的數據容量的增加,這無疑極大程度的降低了磁盤單位 存儲容量的成本,對于大容量的目標客戶而言可以帶來很大的成本優(yōu)勢。Steven Craig表示,預計到2023年,西部數據公司將在50%的HDD 硬盤上采用SMR技術支持,為大型數據中心用戶提供兼顧大容量和低成本的存儲產品和方案。
另外,在推進SSD盤容量提升方面,基于快速增長的存儲需求,西部數據2018年就已經量產了96層3D NAND,預計2020年將進入100層以上。Steven還表示相較于TLC更高容量的QLC(4Bit)也在快速增長,他預測QLC的增長趨勢將會從2020年開始比較顯著,到2023年QLC預計會達到超過50%的應用占比范圍。為此,西部數據當下正在致力于實現QLC邏輯擴展的前沿技術,通過橫向、縱向和邏輯三個維度在每一個垂直的存儲孔可以達到每單元422個比特,在保證性能的同時,大幅降低了成本,提高了TCO效益,讓其能夠快速應用到數據中心中。
除了爆炸式增長的數據總量給存儲容量帶來了巨大的挑戰(zhàn)之外,未來數據分析、數據挖掘還需要更低延遲、更高性能的存儲架構預以支撐。
ZNS分區(qū)存儲技術 重新定義ZB時代存儲架構
“如今的通用存儲架構效率低下,并且在面對越來越多的工作負載、應用和數據集時,可能會產生巨大的資源需求和成本開銷,因此針對下一代數據發(fā)展,我們需要新的數據中心結構。由于越來越多的數據具有順序寫入的特性,例如視頻、物聯(lián)網/邊緣數據、監(jiān)控,以及可以分組或‘分區(qū)化’成更大數據塊(如大型人工智能/機器學習數據集)的數據,這使我們可以加速推廣分區(qū)存儲設備,對工作負載進行合理優(yōu)化,從而提高性能和效率,更早地實現總體擁有成本的降低?!? Steven Craig談到。
今年6月12日,西部數據公司在美國、中國同步發(fā)布了分區(qū)存儲技術。分區(qū)存儲架構通過應用層、主機和存儲協(xié)同數據存放位置,利用SMR HDD實現最的存儲容量,并通過新興分區(qū)命名空間(ZNS)標準的NVMe SDD實現耐久性和低延遲以及QoS性能,以彌補OP的限制問題。
此前,我們知道,無論是SSD盤還是傳統(tǒng)HDD磁盤的迭代和演進都是為了追逐更大容量的存儲以及每GB/$成本,當下SMR HDD磁盤、QLC顆粒SSD盤被認為是成本最低的產品,這也是創(chuàng)新科技推動的結果。但是SMR、QLC也都面臨著寫入限制的問題,比如SMR HDD在數據寫入時,需要將疊瓦部分數據遷移走,這就需要操作系統(tǒng)、以及應用軟件的支持,而QLC的問題在于PE(擦寫次數)過低,為此,西部數據也做了很多努力,將QLC的PE提高到1000次,已經能夠與TLC相當。
硬件層面的技術突破是一方面,而此次西部數據針對分區(qū)存儲技術的推出也將從軟件層面解決SMR、QLC的寫入限制問題,ZNS是NVMe標準規(guī)劃內的新特性,也是對SMR技術的補充,它可以讓開發(fā)人員在共同的軟件堆棧下不分存儲介質類型有效的調用SMR和ZNS,賦予用戶端更大的靈活性。
據Steven Craig介紹,為了更方便用戶使用,推動分區(qū)存儲技術的廣泛應用,西部數據還采取了免費開源策略,開發(fā)者、生態(tài)合作伙伴可以通過ZonedStorage.io 開源網站,免費獲取一些必要的軟件開發(fā)庫、工具、ZNS信息、SMR資源和參考架構等,該網站面向所用用戶進行開放,可以方便任何人來學習或者去推動SMR、ZNS技術的應用。
一定程度上,SMR和ZNS正在從根本上重塑云和企業(yè)數據中心,為用戶在未來能夠長期節(jié)約總體擁有成本帶來了想象??梢哉f,由SMR和ZNS SSD組成的分區(qū)存儲架構是實現優(yōu)化基礎架構實現更大規(guī)模經濟效益的面向未來的全新存儲架構,而隨著西部數據在中美兩地的大力推廣,2019年有望成為分區(qū)存儲技術元年。
共建從端到云數據鏈 賦能智能安防場景
“對于即將到來的萬億字節(jié)數據時代,安防監(jiān)控產業(yè)所產生的海量視頻數據是其中非常重要的一部分?!?在Steven Craig看來,安防是一個非常重要的數據增長場景。
隨著智能安防監(jiān)控進入到人工智能、物聯(lián)網時代,西部數據也在不斷針對智能安防監(jiān)控產業(yè)的應用需求,持續(xù)不斷的優(yōu)化監(jiān)控級存儲產品,以能夠更好的契合行業(yè)用戶在他們的應用場景里的整體使用需求。從最早期的單一的機械硬盤,到后來隨著西部數據公司本身的成長壯大推動著存儲產品線的持續(xù)完善,經過多年的拓展和積累,目前西部數據在安防監(jiān)控市場已經能夠以更復雜的方式和更多元化的角度跟行業(yè)領域的安防企業(yè)進行合作。
“在這個過程中,我們不光可以提供從端到云的全數據鏈的存儲產品和服務,同時,我們也可以更深入的參與到智慧城市建設中來,通過跟客戶以及生態(tài)系統(tǒng)的合作來共建從端到云的數據鏈條。從安防攝像頭生成數據的終端存儲,到近邊緣端去匯集數據,一直到云端進行數據存儲和分析。這也意味著無論是從云到端還是從端到云,西部數據都可以從視頻數據存儲的角度去使能客戶的方案?!? Steven Craig表示。
眾所周知,安防不同于其他行業(yè)領域,安防監(jiān)控視頻數據首先需要滿足7*24小時不間斷的采集,這對存儲設備的穩(wěn)定性和耐久性提出了基本要求;而隨著4K、8K超高清攝像頭的上陣,也進一步加劇了大容量存儲的壓力;與此同時,人臉識別、視頻內容分析等技術的廣泛應用,又給監(jiān)控存儲帶來了數據快速寫入讀取的高性能要求。這些無疑都對監(jiān)控級存儲產品的穩(wěn)定性、耐久性、整體性能以及使用成本都提出了很高的硬性要求。
對于產品質量和品質的把控,Steven Craig擁有豐富的經驗,從業(yè)多年,Steven一直擔任著全球大型公司質量管控或客戶體驗事業(yè)部高級副總裁的職務,這讓Steven對產品的品質控制有著異常嚴苛和細致的標準。
因此,當談及監(jiān)控級硬盤的性能設計的話題時,Steven Craig直言:“品質和性能不可割裂,當我們想要在產品上實現一定性能的時候會更多的從品質的角度考慮。所以西部數據在設計產品的過程中,非常注重產品的穩(wěn)定性,我們也因此會花很長的周期去進行相關的設計,然后測試、驗證,比如關注產品的連續(xù)轉速、隨機的讀寫性能等。”
在這個過程中,西部數據還會密切關注行業(yè)用戶的應用需求,比如用戶對有七年產品周期,五年質保這樣的硬性指標,然后嚴格的把控從產品設計、測試到驗證的各個環(huán)節(jié),以保障產品的性能和質量。如此繁瑣和細致,只為讓每一塊到達用戶手中的硬盤能夠經得起各種使用環(huán)境的考驗。
面對智能監(jiān)控領域中大數據和快速數據的應用趨勢,Steven Craig一直強調要和客戶及生態(tài)系統(tǒng)共建數據鏈,“我們很愿意和客戶達成深度合作,以便深入了解用戶對于數據存儲的實際需求。同時也會幫助我們的客戶去深入的了解他們的數據生成的過程,以及這些數據需要如何去架構,以怎樣的方式傳送給硬盤等等。在雙向溝通的過程中,我們和用戶雙方都能夠更好的了解我們的數據架構以及相適配的存儲方案,也便于西部數據不斷提升和優(yōu)化我們的存儲產品,從容量、性能、TCO等多方面綜合考慮,推出更多能夠滿足客戶使用場景的最優(yōu)存儲方案。” Steven Craig表示。
結語
對于即將到來的萬億字節(jié)數據新時代,可以看出,西部數據已經做足了準備,集聚Western Digital的品牌力量,擬攜手產業(yè)合作伙伴共建良好數據生態(tài)系統(tǒng),一起推進數據產業(yè)的發(fā)展繁榮,共同探索萬億字節(jié)時代數據的潛力和價值。
*來源:IDC全球數據空間預測,2019-2023:消費者對企業(yè)擴展的依賴性,2019年1月,DOC#US44615319
(本文源自a&s《安全&自動化》CHINA版237期封面報道)