在過去很多年中,智能技術(shù)贏得了目光和人氣,卻沒有獲得大的市場進展,令人困惑。這篇文章將探討如何把智能視頻技術(shù)的應(yīng)用從行業(yè)化解決方案和系統(tǒng)化的角度來看待,才能使其走向大規(guī)模應(yīng)用。
大規(guī)模智能視頻監(jiān)控技術(shù)應(yīng)用的必由之路
在過去很多年中,智能技術(shù)贏得了目光和人氣,卻沒有獲得大的市場進展,令人困惑。這篇文章將探討如何把智能視頻技術(shù)的應(yīng)用從行業(yè)化解決方案和系統(tǒng)化的角度來看待,才能使其走向大規(guī)模應(yīng)用。
智能視頻分析技術(shù)的發(fā)展制約因素
隨著用戶對操作自動化水平要求的日漸增高,智能技術(shù)逐漸聚集了市場的目光,成為工程商、集成商、生產(chǎn)商和終端用戶的寵兒。但是,在過去很多年中,智能技術(shù)贏得了目光和人氣,卻沒有獲得大的市場進展。
智能視頻分析技術(shù)來源于計算機視覺與模式識別學(xué)科,是一種非標(biāo)準(zhǔn)的技術(shù),業(yè)界沒有一個所謂智能視頻分析技術(shù)的標(biāo)準(zhǔn)。非標(biāo)準(zhǔn)技術(shù)要想獲得大規(guī)模的應(yīng)用很困難,因為不同行業(yè)用戶的需求千奇百怪,而且沒有獨立、可靠與公眾一致認(rèn)知的衡量標(biāo)準(zhǔn),測評顯得非常困難,難以形成規(guī)模性的生產(chǎn)來降低成本,系統(tǒng)的互聯(lián)互通也無法實現(xiàn)。如此一來,很難令用戶對智能技術(shù)的應(yīng)用慷慨解囊。
筆者認(rèn)為,智能視頻分析技術(shù)如果要想較快發(fā)展進入大規(guī)模應(yīng)用的階段,必須要解決三大問題:提出行業(yè)化智能技術(shù)應(yīng)用解決方案、解決智能化的平臺軟件問題、進行行業(yè)化智能技術(shù)深度研發(fā)。
提出行業(yè)化智能技術(shù)應(yīng)用解決方案
行業(yè)化解決方案是實現(xiàn)智能視頻分析功能“標(biāo)準(zhǔn)化”的唯一途徑。經(jīng)過在整個監(jiān)控領(lǐng)域?qū)χ悄芑夹g(shù)做標(biāo)準(zhǔn)化是不現(xiàn)實的,但在眾多重要而專業(yè)的領(lǐng)域中經(jīng)過不斷實踐、提煉和深度研發(fā),在該行業(yè)內(nèi)部形成具有行業(yè)共識的“標(biāo)準(zhǔn)功能模塊”是可行的,有利于將智能視頻在該領(lǐng)域推向大規(guī)模應(yīng)用。
解決智能化的平臺軟件問題
傳統(tǒng)的平臺軟件無法操作智能設(shè)備,這是因為有幾個重要的原因:1、智能視頻分析系統(tǒng)與傳統(tǒng)系統(tǒng)在報警信號的來源上有非常大的差異,前者來自視頻內(nèi)容本身的分析,而后者需要來自其它的傳感器,如紅外探頭等。如何從視頻內(nèi)容中獲得、處理、傳遞、存儲、搜索以及視覺表達這些報警信息是智能系統(tǒng)必須要解決的問題,而傳統(tǒng)的平臺軟件顯然無法直接兼容性地解決這些問題。2、做智能研發(fā)的公司往往規(guī)模比較小而鮮有參與大型行業(yè)工程實踐的經(jīng)驗和機會,難以有研發(fā)并完善平臺軟件的機會。而做平臺軟件的公司往往經(jīng)過多年工程項目的積累,在傳統(tǒng)的平臺軟件上已經(jīng)做得很成熟,但是這些工程性的公司卻缺少了智能核心技術(shù)。因此無法直接在自己的平臺軟件上添加對智能設(shè)備的控制,或者無法在平臺軟件后臺進行直接的智能化處理,即使一定程度上可以在后臺軟件做一些基本的智能處理功能,也無法進行大規(guī)模的智能功能部署,因為后端的智能處理方式需要把前端圖像通過數(shù)字化傳輸回來之后,經(jīng)過數(shù)字圖像的解壓縮、智能處理、再壓縮和存儲的過程,非常消耗計算資源,因此實際上無法進行大容量的智能視頻分析部署。由此可見,智能化的平臺軟件必須要獲得解決。
行業(yè)化智能技術(shù)深度研發(fā)
行業(yè)應(yīng)用過程中,不斷涌現(xiàn)新的智能視頻分析需求,這些需求和行業(yè)的應(yīng)用緊密相關(guān),未來的智能絕對不是簡單的入侵報警、絆線檢測之類的基本智能分析,例如可靠的人類行為分析、社會公眾事件的識別、跨越場景的跟蹤以及360度全景拼接技術(shù)等都成為智能技術(shù)深度研發(fā)的典范,深度研發(fā)的需求從本質(zhì)上要求智能系統(tǒng)可以做到人眼和大腦協(xié)同工作相類似的效果。例如,在地鐵的智能應(yīng)用中,分析扶手電梯的運動方向、模糊估計人流堵塞程度以及在大型人臉數(shù)據(jù)庫中做人臉的搜索識別等將成為主流需求。因此行業(yè)化的智能技術(shù)深度研發(fā)將是智能技術(shù)獲得行業(yè)推廣和廣泛應(yīng)用必須要完成的艱巨任務(wù)。
通過以上分析,我們可以看到,智能技術(shù)的非標(biāo)準(zhǔn)化特性正是阻礙它獲得大規(guī)模應(yīng)用的重要原因。要想在短期內(nèi)解決上述問題,就必須通過行業(yè)化需求的提煉來把智能技術(shù)進行行業(yè)性的“標(biāo)準(zhǔn)化”,并解決智能平臺軟件問題,形成統(tǒng)一的智能化應(yīng)用接口來連接前端智能設(shè)備與后端的智能化平臺軟件,同時需要不斷解決行業(yè)應(yīng)用中出現(xiàn)的深度智能需求,這樣才有可能迎來智能技術(shù)大規(guī)模應(yīng)用的春天。下文將分別從行業(yè)解決方案、智能平臺軟件與整合以及深度智能技術(shù)研發(fā)三個方面來做具體探討。
智能解決方案
一個系統(tǒng)化的智能解決方案,需要從行業(yè)需求分析、產(chǎn)品形態(tài)、系統(tǒng)構(gòu)架、平臺軟件四個方面來考慮解決。
從行業(yè)需求看解決方案
要提出一個解決方案,首先要理解清楚這個方案到底要解決這個行業(yè)的哪些需求。我們在應(yīng)用過程中會遇到非常豐富的需求,每個客戶都有不同的應(yīng)用場景和期待。研發(fā)廠家不可能有足夠的資源可以對所有的需求進行支持,但是我們經(jīng)過長時間的分析發(fā)現(xiàn),行業(yè)的客戶需求有很高程度的重疊性,把這些重疊性加以提煉,就會得到“主流需求”,而且“主流需求”往往具備如下的特征:報警實時性的需要、要在某種事件觸發(fā)的狀態(tài)下獲得更加細(xì)節(jié)信息的需要、自動化數(shù)據(jù)挖掘與共享的需要。因此,分析行業(yè)化需求的最有效方法是分析需求最多的應(yīng)用場景,以及在這些場景中具有上述特征的“主流需求”,表1和表2以智能交通和智能安防為例對應(yīng)用需求進行了分析。
表1 智能交通應(yīng)用需求分析
表2 智能安防應(yīng)用需求分析
[nextpage]
從產(chǎn)品形態(tài)看解決方案
產(chǎn)品形態(tài)要解決的問題包括根據(jù)“主流需求”的特征來選取不同的產(chǎn)品形態(tài),同時產(chǎn)品形態(tài)的選擇兼顧考慮安裝的便利性、性價比、技術(shù)實現(xiàn)的難度等。
1、嵌入式智能視頻分析服務(wù)器:可以選擇不同的攝像機來做配合,是用戶對已建成的系統(tǒng)進行智能升級的最佳選擇,并且是不同特殊智能分析應(yīng)用下的靈活之選(如煙火檢測下需要攝像機具有良好的色彩還原能力時可以有更多的攝像機來源選擇)。在較為分散的智能監(jiān)控點中廣泛使用,支持各種不同的通信方式,如WIFI和3G等,并支持前端存儲、智能事件搜索和點播等。
2、一體化智能攝像機:可以支持高清智能化應(yīng)用、安裝簡單方便、設(shè)計緊湊、方便維護,在功能上大體與嵌入式智能視頻分析服務(wù)器相當(dāng)。
3、多路混合型智能視頻分析服務(wù)器:具有強大的多路處理能力,可以同時進行模擬和數(shù)字視頻輸入信號的智能處理、支持對高清IP攝像機信號源的智能分析、支持多路球機的智能分析功能,內(nèi)置車牌識別和PTZ跟蹤軟件。這種設(shè)備具備多路處理能力而大大提供了性價比,并且支持模數(shù)混合型的智能化處理,對于工程商而言,在處理混合型監(jiān)控系統(tǒng)的智能升級時具有不可比擬的優(yōu)越性。同時由于連接了眾多類型的設(shè)備,使得這些設(shè)備之間的融合變得簡單容易,對于諸如跨越場景的跟蹤、多路視頻的實時拼接、協(xié)同式智能工作模式的支持具有非常良好的效果。
當(dāng)提出一個系統(tǒng)解決方案的時候,必然要考慮不同的硬件產(chǎn)品形態(tài)來獲得最終的產(chǎn)品功能、性價比、技術(shù)實現(xiàn)的可能性等。
從系統(tǒng)構(gòu)架看解決方案
一個良好的解決方案,需要從如下的幾個方面考慮系統(tǒng)構(gòu)架可能涉及的技術(shù)與產(chǎn)品形態(tài)的選擇。
第一,前端智能還是后端智能?
前端智能分析具有很強的優(yōu)勢,比如可以支持前端存儲,無需進行圖像的遠(yuǎn)程傳輸,并因此可以對圖像進行高質(zhì)量的前端存儲,如果用戶需要獲得圖像信息,則可以通過分布式事件搜索完成,并通過點播獲得高質(zhì)量現(xiàn)場畫面。更重要的一點是,前端智能分析讓每個獨立的分析單元可以成為單獨的智能監(jiān)控單元,即使整個系統(tǒng)的網(wǎng)絡(luò)都癱瘓了,這些獨立的前端單元還可以繼續(xù)獨立工作、進行存儲和報警,避開了系統(tǒng)網(wǎng)絡(luò)通信癱瘓所帶來的監(jiān)控癱瘓的風(fēng)險。
后端存儲往往將智能視頻分析功能嵌入在平臺軟件上,雖然這種方式可以通過以比較低成本的方式來輪詢進行智能視頻分析,但是有兩個較為嚴(yán)重的問題:要在后端進行智能視頻分析就必須對前端傳來的圖像進行解壓再分析,這個過程占用了大量的平臺軟件終端設(shè)備的資源,實際上并沒有降低成本,反而使得作為觀看與瀏覽圖像的平臺軟件運行終端運行效率大幅下降,甚至無法支持很多路的視頻解壓和顯示。
也因為如此,從圖像處理質(zhì)量、智能分析的效率、實時性以及性價比上看,在后端進行大規(guī)模的智能視頻分析是不合理的。并且,視頻內(nèi)容搜索時無法實現(xiàn)大規(guī)模場景下的視頻事件搜索,這和前端分布式存儲與搜索的理念是無法比擬的。因此后端智能分析的模式,只有在智能分析視頻路數(shù)較少、存儲和搜索規(guī)模要求不高的情況下才適合。
第二,DSP還是工控機?
智能算法在DSP和工控機上的實現(xiàn)各有優(yōu)勢,需要靈活選用。一方面DSP的實現(xiàn)方式非常緊湊、穩(wěn)定,而且在監(jiān)控點比較分散的時候具有非常高的性價比,安裝調(diào)試與維護都方便;另一方面,工控機平臺相對來說具有較為強大的運算能力,在硬件的設(shè)計與實現(xiàn)、智能算法的編程實現(xiàn)上相對容易很多,因此在多路分析、降低成本、運行復(fù)雜算法、支持高清分析等方面具有明顯的優(yōu)勢。但是工控機平臺在較為分散的監(jiān)控場合不是很合適,會失去成本優(yōu)勢,而且其穩(wěn)定性、散熱設(shè)計等都必須加以考慮。值得注意的是,工控機方式的實現(xiàn),既可以在前端使用,也可以在后端使用。
第三,分布式存儲搜索與網(wǎng)絡(luò)存儲搜索
如前文所述,分布式存儲搜索與網(wǎng)絡(luò)存儲搜索相比來說,前者在圖像質(zhì)量、搜索效率、帶寬成本上具有無法比擬的優(yōu)勢,但是對于那些具有專用通信系統(tǒng),無需擔(dān)心網(wǎng)絡(luò)帶寬的用戶來說,網(wǎng)絡(luò)中心存儲的方式具有較為安全的特點。
第四,一體化智能攝像機與嵌入式智能分析服務(wù)器。前文已經(jīng)比較過這兩種不同的產(chǎn)品形態(tài)可以根據(jù)不同的需要出現(xiàn)在系統(tǒng)的構(gòu)架中。
第五,球機的智能
球機的智能視頻分析功能一直是業(yè)界的一個難點,涉及到視覺技術(shù)中的運動計算以及智能廠家與球機廠家的技術(shù)開放與配合問題。球機的智能獲得解決之后,將大大促進智能應(yīng)用的廣度和深度。大范圍、寬廣視野內(nèi)進行智能化的應(yīng)用成為可能,并且,復(fù)雜的跟蹤技術(shù)、自動獲取遠(yuǎn)程目標(biāo)的視覺內(nèi)容細(xì)節(jié)等都可以順利實現(xiàn)。
第六,混合的智能處理
混合的智能處理,包括模擬與數(shù)字的混合、高清與標(biāo)清的混合、固定攝像機與球機的混合、獨立分析與協(xié)同智能的混合。這對于工程商與集成商來說是非常重要的,因為在工程實現(xiàn)中,不同情況的混合非常常見,特別是對現(xiàn)有已建系統(tǒng)進行智能升級的時候這種需求特別明顯。
第七,高清與智能的結(jié)合
高清與智能的結(jié)合,是未來發(fā)展的主流,已經(jīng)有不少廠家在高清攝像機上移植智能視頻分析模塊,在目前看來,CMOS高清智能設(shè)備在性價比上占有較強的優(yōu)勢,而基于CCD的高清設(shè)備內(nèi)嵌智能視頻分析功能時,在性價比上難以滿足市場的需求。
第八,平臺軟件:智能視頻的專業(yè)化與行業(yè)化
沒有平臺軟件的支持,智能設(shè)備就不可能獲得大規(guī)模的工程應(yīng)用,道理很簡單,如果用戶無法通過平臺軟件去操作智能設(shè)備的話,大的工程項目上就不會看到智能視頻分析技術(shù)與設(shè)備的影子!要想智能技術(shù)獲得大規(guī)模應(yīng)用,它必須要和專業(yè)化與行業(yè)化的平臺軟件“聯(lián)姻”!
智能平臺軟件
兼容智能視頻分析技術(shù)與設(shè)備的軟件平臺可以通過兩種方式來實現(xiàn):智能設(shè)備廠商研發(fā)專業(yè)化的平臺軟件、智能廠商向大型平臺軟件商提供整合方案與SDK。
智能設(shè)備廠商研發(fā)專業(yè)化的平臺軟件
從長遠(yuǎn)來看,智能技術(shù)研發(fā)廠商必須要實現(xiàn)專業(yè)化平臺軟件的研發(fā),如果不能做到這一點,不但在市場上將會因為對第三方平臺軟件的依賴而陷入困境,而且難以迅速主動切入大規(guī)模應(yīng)用的市場。
但現(xiàn)實的情況不容樂觀,目前大部分的智能設(shè)備研發(fā)廠家規(guī)模都比較小,資金與技術(shù)力量都難以支撐從頭開始做行業(yè)化的大型平臺軟件,而如果沒有大型項目的支撐,這些平臺軟件的研發(fā)和完善幾乎是不可能做到的。目前,一些領(lǐng)先的智能廠商,憑借強大的研發(fā)力量,以及良好的項目合作關(guān)系,已經(jīng)開始了智能化平臺軟件的研發(fā)(圖1為智能交通平臺軟件示意圖)。
圖1 智能交通平臺軟件 [nextpage]
智能廠商向平臺軟件商提供整合方案與SDK
大型平臺軟件商難以接受智能廠商的平臺軟件,基于兩個重要原因:一是在技術(shù)上,大型平臺軟件往往經(jīng)過了極長時間的研發(fā)和工程實踐,在應(yīng)用上已經(jīng)非常完善和成熟,并形成了較好的品牌; 二是在商務(wù)利益上,平臺軟件商難以接受智能廠商提出的另外一套價格。想想看,大型的非智能平臺軟件已經(jīng)很昂貴,何況智能的平臺軟件?如果雙方合作,在智能設(shè)備與傳統(tǒng)的平臺軟件上實現(xiàn)互聯(lián)互通是雙贏與明智的選擇。
一般來說,智能廠商提出開放式的平臺整合方案比智能設(shè)備自身去兼容各家的平臺軟件要容易很多,以某智能設(shè)備廠商為例,開放式智能協(xié)議構(gòu)架包括設(shè)備接入SDK、報警管理SDK、算法設(shè)置SDK、流媒體SDK(見圖2)。
圖2 智能視頻分析系統(tǒng)整合協(xié)議構(gòu)架
設(shè)備接入SDK:提供智能前端向平臺軟件接入的標(biāo)準(zhǔn)通信方式與接口,往往與第三方平臺軟件的設(shè)備接入服務(wù)器進行對接。
報警管理SDK:提供基于智能分析結(jié)果的事件及報警信息的表達方式、數(shù)據(jù)描述方式、存儲與搜索模式等,往往與第三方平臺軟件的業(yè)務(wù)管理服務(wù)器進行對接。
算法設(shè)置SDK:提供智能算法不同的參數(shù)設(shè)置、與前端設(shè)備信號流的交換方式等內(nèi)容,往往與第三方平臺軟件做直接的融合對接。
流媒體SDK:提供流媒體傳輸接收、解壓、存儲以及基于時間、地點和事件搜索的接口,往往與第三方平臺軟件做直接的融合對接。
深度智能研發(fā)
如果可以檢測車輛非法拐彎,而不能做車牌自動識別;如果看到有人入侵,但卻無法看到入侵者的相貌和身材;如果可以跟蹤一個對象,但是超越了一個攝像機場景之后就不能再進行持續(xù)性的跟蹤;如果可以檢測到人的流量,卻無法判斷是不是真正形成人流的堵塞這些都表明,如果沒有在各個行業(yè)中展開深入的智能應(yīng)用研發(fā),現(xiàn)有的很多智能技術(shù)還只是“半吊子”,用戶將無法從智能技術(shù)中獲得完整的解決方案。以下來分析兩個典型的智能研發(fā)需求的實例。
一、人流堵塞程度檢測,這個功能在很多應(yīng)用場合中廣泛應(yīng)用,特別典型的是在地鐵中的應(yīng)用。地鐵月臺或者過道,具有突然人流增加和高度堵塞的安全隱患。如果要在人流非常密集的地方做人數(shù)的精確統(tǒng)計是不現(xiàn)實的,因為不一定可以獲得理想的攝像機安裝位置,即使安裝位置比較理想,由于遮擋、粘連、長時間擁擠、局部人流變化等原因,將難以精確估算人流數(shù)量。同時業(yè)主可能對堵塞程度的關(guān)心遠(yuǎn)遠(yuǎn)大于人流密度,因為人流密度很高而保持通暢流動的時候表示會是一個可接受的安全范圍。因此必須把堵塞和密度兩種智能分析判斷做綜合性的檢驗,這部分的工作需要做深入的研發(fā)和現(xiàn)場調(diào)試才有可能滿足工程應(yīng)用的需要。
二、圖像拼接與跨越場景的智能協(xié)同分析,這個功能在許多場合中有巨大的市場價值,特別是在平安城市的應(yīng)用中。在寬廣的監(jiān)控地帶,如廣場、邊界、大樓門口、高速公路、大型十字路口等,一方面需要具備對寬廣視野的全局把握,另一方面用戶也希望對具備細(xì)節(jié)具有“無極放大”的能力,可以完成這個任務(wù)的一個技術(shù)方案就是使用多路圖像的實時拼接技術(shù)與協(xié)同式智能視頻分析技術(shù)來做應(yīng)用整合,如圖3所示。
圖3 基于多路視頻全景拼接與協(xié)同式智能跟蹤
深度的智能研發(fā)需要具有獨立自主的研發(fā)能力,需要強大的團隊研發(fā)力量做保障。目前,大部分智能廠家還沒有實現(xiàn)智能設(shè)備與功能上的創(chuàng)新,還停留在入侵檢測、絆線、翻墻檢測等等。不過,一些有遠(yuǎn)見和能力的行業(yè)領(lǐng)先者,如桂林遠(yuǎn)望智能通信科技有限公司等也已經(jīng)開始了最新技術(shù)的研發(fā)包括高清智能化、模數(shù)混合分析、協(xié)同式智能、 模式識別、復(fù)雜跟蹤、實時圖像融合等。當(dāng)然,要想真正實現(xiàn)中國“智”造,還需要所有國內(nèi)智能視頻分析廠家不斷分析用戶需求,從不同角度不斷深化智能技術(shù)的研發(fā)。