文/吳參毅 浙江宇視科技有限公司首席算法架構師

　　智能分析歷史

　　視頻監(jiān)控智能分析主要指的是從視頻監(jiān)控圖片或視頻中進行對象檢測、識別、以及行為分析，進行事件檢測。如圖1所示。其中需要檢測的對象只要為行人和車輛，人的各種靜態(tài)屬性和動態(tài)屬性檢測識別、各種機動車輛和非機動車輛的靜態(tài)屬性和動態(tài)屬性的檢測識別。其中人的靜態(tài)屬性包括：人臉檢測與識別，人臉面部表情檢測與識別，人頭發(fā)式檢測與識別，人體衣服顏色與款式檢測與識別，行人背包檢測與識別，行人軌跡檢測與軌跡分析。車輛檢測包括機動車牌識別、車輛顏色檢測、車型檢測、駕乘人員檢測與行為識別、車輛軌跡檢測與軌跡行為識別。

　　在視頻監(jiān)控中，除了主要檢測的人和車對象外，針對某些專門領域，還會需要檢測各種別的物體，比如煙火檢測、移動物體闖入禁區(qū)檢測、人群聚集檢測，等等。

　　在上個世紀視頻監(jiān)控發(fā)展初期，其主要目的是進行視頻圖像編碼后保存到數(shù)字硬盤，以備事后查閱。但是視頻監(jiān)控的本質要求是對客戶感興趣的事件進行事前預測、事中干預、事后快速查閱。由此可見，根據其本質要求，視頻監(jiān)控的核心任務，除了數(shù)字視頻編碼錄像之外，還有就是更高準確而又快速的對各種事件進行檢測和分析。

圖1 視頻監(jiān)控智能分析框圖

圖2傳統(tǒng)分類器和基于深度學習分類器對比[2]

　　在上世紀中使用的視頻圖像分析技術主要是各種圖像處理技術、傳統(tǒng)的計算機視覺技術和機器學習技術?；蛘哒f基于圖片和視頻的對象檢測與識別，一直就是計算機視覺學科的一個傳統(tǒng)課題。對視頻監(jiān)控場景的圖像處理也一直是圖像處理技術的傳統(tǒng)課題。

　　由于技術的飛速發(fā)展帶動了計算機視覺和機器學習等學科的快速迭代，尤其是海量數(shù)據的出現(xiàn)，IPC處理芯片性能的不斷提高，以及基于NVIDIA高速GPU分布式高性能計算平臺的出現(xiàn)，對一些傳統(tǒng)的計算機視覺任務以及機器學習任務，出現(xiàn)了性能更高，效果更好的新算法，這不僅提高了傳統(tǒng)視頻監(jiān)控智能分析任務的性能和效率，同時也改變著傳統(tǒng)視頻監(jiān)控智能分析業(yè)務應用的架構模式。

　　不論是傳統(tǒng)的方法，還是先進的基于深度學習的方法，都是首先從視頻圖像中得到具有充分表達力的特征（feature），然后對訓練樣本集合中的所有樣本提取特征，選擇一個適合的分類器，把樣本特征變換到一個可以輕松分開的空間實現(xiàn)分類或者識別。如圖2所示。

　　智能分析技術熱點

　　視頻監(jiān)控領域內的主要任務能夠快速而又準確的對圖像視頻內容結構化，對各種客戶定義監(jiān)控事件能夠快速反應。該任務所使用的計算機視覺和機器學習算法中只要是完成在圖像視頻中進行對象的檢測和識別任務的算法，當前效果最好的是深度卷積神經網絡。

　　自從2012年Geoffrey Hinton團隊中的Alex Krizhevsky在ImageNet2012基于圖片的多種類對象分類和檢測挑戰(zhàn)賽中，使用百萬級的海量訓練樣本，利用NVIDIA的GPU加速訓練卷積神經網絡模型AlexNet，得到的模型的分類和檢測錯誤率遠遠低于傳統(tǒng)手工設計特征加分類器的思路。這一消息的發(fā)布，證明了基于海量訓練樣本，使用GPU加速訓練，學習得到的多層次特征的表達能力（如圖3和圖4所示）遠遠高于以往任何人工設計特征的表達力。這如同打開了一個潘多拉盒子，極大的激發(fā)了機器學習和計算機視覺等領域在后續(xù)四年間的發(fā)展方向。

圖3 深度學習等于多層表征學習[2]

圖4 深度神經網絡多層特征獲取方式[2]

　　如圖3所示，深度卷積神經網絡具有分層的特征學習能力，通過在海量樣本集合上訓練，可以得到底層特征（Low-Level Features）、中層特征（Mid-Level Features）、高層特征（High-Level Features），表征能力很強，遠遠高于各種手工設計特征（Handcrafted Features）。這樣的訓練模式不同于傳統(tǒng)的模式識別結構。傳統(tǒng)模式識別架構中，首先選定一種手工設計特征描述符，比如SIFT，SURF等特征，然后在正負樣本集合中進行特征提取，使用提取的特征集合訓練分類器。但是基于深度學習架構的分類是一種端到端（End-to-End）的學習模式，即不僅僅是分類器（Classifier）通過訓練得到，分層表征（Hierarchical representations）也是通過訓練得到。最終得到的神經網絡模型參數(shù)和分類器參數(shù)取決于海量樣本。學習得到的底層特征一般是一些邊，中層特征一般是一些曲線或者斑點，高層特征一般是一些圖案。到底每一個具體層每個神經元參數(shù)最終學習得到的值完全取決于訓練樣本集。

　　如圖4所示，一個包含字符“0”的圖片通過多層非線性卷積濾波：濾波塊（Filter Bank）+非線性計算（non-linearity），然后通過匯聚操作（又成為池化，Pooling）減短特征維數(shù)，最后得到一維化的輸出特征。

　　深度學習架構另一個令人疑惑的地方就是，不同于傳統(tǒng)的研究方法，研究者們總能通過數(shù)學模型推導出結果，即可以從理論上證明其有效性。而深度學習僅僅是通過把模擬人類大腦皮層的神經元（如圖5所示）工作機理的把一個個的神經元（如圖6所示）排成陣列，然后把多個陣列排成多層，最后把每排間的神經元進行部分連接或者全部連接。

圖5 大腦皮層神經元

圖6 神經元

　　如圖3所示，神經元具有一個軸突（axon）分支，同時有一個收集來自其他神經元輸入的樹突樹（dendritic tree）。軸突通常在突觸（synapses）和樹突樹進行通信。有一個軸丘（axon hillock），每當足夠的電荷流出突觸，以使得細胞膜去極化后，就會生成峰值，軸突上的激勵峰值會注入電荷到突觸后的神經元。

　　到底每一個神經元陣列含有多少個神經元（即特征層多寬），到底排多少層（即多深），完全由實驗效果確定，至少到目前為止理論界并沒有發(fā)現(xiàn)令人信服的數(shù)學公式推導。這也是深度神經網絡得到一部分學術研究者鄙視的原因。但是其相比傳統(tǒng)方法的效果提升的幅度之大，達到以往傳統(tǒng)研究方法的每次提升幅度的十幾倍甚至幾十倍。這極大的激發(fā)了實戰(zhàn)派投入深度學習的懷抱，在各個領域探索更加有效的深度神經網絡結構。所以在短短的四年時間里，全球的視頻圖像研究者不斷提出各種改進版的神經網絡結構，并在各種領域內實驗驗證其更加有效性。

　　所以，深度神經網絡，深度學習，對視頻監(jiān)控應用來說，仍是當下的研究熱點，應用熱點。視頻監(jiān)控智能分析算法正經歷這深刻的變革。

　　智能分析與大數(shù)據融合

　　在視頻監(jiān)控領域，或者說安防領域，智能分析，或者更進一步說人工智能，起著越來越重要的作用。隨著行業(yè)發(fā)展和技術發(fā)展，人工智能逐漸的變?yōu)榘卜李I域核心角色。人工智能領域的引領者，美國紐約大學數(shù)據科學中心和Courant數(shù)學科學研究所的Yann Le Cun教授，同時也Facebook AI Research的領導者，這樣定義一個人工智能系統(tǒng)（AI System）是學習代理（Learning Agent）+不可改變目標（Immutable Objective），如圖7和圖8所示。同時一個人工智能系統(tǒng)也是：預測（Predicting）+規(guī)劃（Planning）=推理（Reasoning）

圖7 人工智能系統(tǒng)

圖8 人工智能系統(tǒng)（展開）

　　圖7表示的是一個人工智能系統(tǒng)，圖8表示的是一個對代理人（agent）展開了的人工智能系統(tǒng)。兩個圖均對代理人部分進行轉門說明。代理人通過觀察（Observations）從世界（world）獲得感知（percept/perception）。代理把行動（actions）輸出（output）到世界上。代理人試圖把長期期望代價（long-term expected cost）最小化。人工智能系統(tǒng)中，智能（intelligence）的本質是預測能力（the ability to predict）。代理人首先進行規(guī)劃（plan），然后仿真世界（simulate the world），并對感知進行預測（predicted percepts），預測感知傳送給行動者（Actor），同時世界仿真器也把推斷的世界狀態(tài)（inferred world state）傳給行動者，行動者對行為作出建議（action proposals），同時該建議又輸入給世界仿真器，世界仿真器根據真實世界狀態(tài)以及行動者的行為建議對下一個時刻可能感知進行預測。狀態(tài)評價函數(shù)critic對行動者的狀態(tài)進行評價，輸出代價預測值。

　　從人工智能系統(tǒng)框圖來看，其核心就是通過觀察真實世界，然后對真實世界進行仿真。機器需要學習、了解真實世界如何運轉的，要獲取足夠程度的常識。人工智能系統(tǒng)需要通過觀察和行動學習大量的背景知識，需要感知世界的狀態(tài)，以便進行準確的預測和規(guī)劃。人工智能系統(tǒng)需要更新和記住對世界狀態(tài)的估計值，尤其是需要注意一些重要事件，并記住相關聯(lián)的事件。人工智能系統(tǒng)需要規(guī)劃和推理，需要預測哪些行為序列對世界帶來怎樣的狀態(tài)。所以感知+預測模型+記憶+推理和規(guī)劃就等于智能和常識：Intelligence & Common Sense = Perception + Predictive Model + Memory + Reasoning & Planning[2]。

　　所以鑒于神經網絡的強大的學習能力，缺乏對真實世界的足夠感知，人工智能系統(tǒng)無法對真實世界形成常識。我們知道，在視頻監(jiān)控領域中的圖像視頻采集相機，一天24小時的全天候的在采集數(shù)據，同時現(xiàn)在的攝像機的分布規(guī)模已經足夠大，對一個平安城市級別的視頻監(jiān)控來說，每天都會產生海量數(shù)據，最后形成的大數(shù)據，已經具備對人工智能系統(tǒng)足夠感知的條件。這是視頻監(jiān)控的特點，更是視頻監(jiān)控的優(yōu)勢。將來在采集視頻大數(shù)據的基礎上，進行快速而又準確的結構化后，可以構建各種人工智能系統(tǒng)。所以未來必一個趨勢將是視頻大數(shù)據的分析與挖掘。

　　安防企業(yè)智能分析技術實現(xiàn)

　　傳統(tǒng)的智能分析算法都是基于CPU或者DSP之類的通用編程平臺，所以安防企業(yè)大都自己實現(xiàn)各種基于視頻圖像的對象檢測識別與跟蹤算法。進入深度學習和人工智能時代后，算法性能更卓越的一個代價就是計算成本的大量上升，單純的使用軟件實現(xiàn)智能算法，尤其是在終端設備上，變得不再現(xiàn)實。所以給安防行業(yè)提供芯片的各個廠家會把各種計算機視覺算子和機器學習算子以加速引擎的方式嵌入到芯片中。尤其是最近時期，由于卷積網絡的目前只能在NVIDIA的GPU的計算單元陣列上實現(xiàn)，所以目前的服務器形態(tài)智能分析大在GPU上實現(xiàn)。

　　在安防行業(yè)，一般都是上游芯片企業(yè)提供智能加速引擎和GPU計算單元陣列，安防企業(yè)利用自身優(yōu)勢，提供海量訓練數(shù)據，結合自身行業(yè)特點以及自身企業(yè)優(yōu)勢，訓練得到獨具特色和優(yōu)勢的神經網絡結構，達到差異化和競爭優(yōu)勢。

　　比如2016年10月份宇視科技與NVIDIA聯(lián)合發(fā)布了新一代大容量分布式云結構化智能化分析服務器（代號“昆侖”），在4U的高度上支持了80顆NVIDIA Jetson TX1處理器，為業(yè)界最高密度，最強性能。一臺昆侖可以并發(fā)處理640張/秒的人臉識別、160路的人員計數(shù)、80路人車物的結構化分析。同時2016年10月份宇視科技發(fā)布了基于Movidius+NVIDIA雙芯片深度學習人臉識別相機、深度學習智能交通抓拍相機、深度學習USB智能棒。

　　通過和代表人工智能行業(yè)最高端廠商合作，基于安防行業(yè)獨有的的海量數(shù)據，緊緊跟蹤學術界深度學習算法的最新發(fā)展，宇視科技訓練出了業(yè)界一流的各種神經網絡模型。不論是在硬件設備上、還是海量數(shù)據上和算法結構模型上，都達到了業(yè)界最高水平。

　　智能分析路線圖

　　安防行業(yè)從簡單的智能分析到機器視覺技術及深度學習，到最后的人工智能有沒有清晰的技術路線？其實安防行業(yè)作為一個專門的行業(yè)，并不是一個獨立的行業(yè)。安防行業(yè)中的智能分析技術僅僅跟隨著計算機視覺、數(shù)據科學、機器學習（深度學習作為機器學習的一個分支）的發(fā)展而不斷進步。

　　最近一段時期，深度學習正經歷著飛速發(fā)展，有人產生了疑問，深度學習會不會取代其他所有機器學習算法或者特征工程方法呢？肯定不是的，正如百度首席科學家，同時也是深度學習先驅之一的吳恩達就曾指出[3], 盡管人工智能已經有很大范圍的影響了，但它在產業(yè)內的應用方式還極其有限。幾乎所有人工智能最近的進步都是通過一種類型——即輸入數(shù)據（A）然后快速生成簡單的回應（B），比如：

圖9 機器學習能做什么[3]

　　可想而知，在安防行業(yè)的整個智能分析應用中，并不是所有的業(yè)務都可以抽象成如圖9所示的A→B的關系。所以還需要很多種經典的機器學習算法和計算機視覺算法，比如隨機森林，SVM，圖像分割、圖像掩碼、圖像形態(tài)學等等。
 

　　參考

　　[1]http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks

　　[2] Yan Le Cun “Unsupervised Learning: The Next Frontier In AI”

　　https://drive.google.com/open?id=0BxKBnD5y2M8NcmtIYVdtNkxTM2c

　　[3] https://hbr.org/2016/11/what-artificial-intelligence-can-and-cant-do-right-now