文/中國國家博物館 安全保衛(wèi)部 高級工程師 楊延京

　　近年來，隨著博物館的快速建設，大量新理念、新技術、新設備的使用，推動博物館運營進入到高技術、高標準和高安全性的全新時代。隨之而來的安全風險和隱患也逐漸增多，其中博物館的監(jiān)控視頻存儲信息容量大、監(jiān)控點位數(shù)量多，如何有效地管理這些資源，實現(xiàn)視頻資源的高效應用是博物館安全管理與應急指揮建設領域亟待解決的問題。

　　目前許多博物館依賴于視頻監(jiān)控系統(tǒng)來實現(xiàn)日常安全運行管理，分鏡頭模式已成為日常管理水平進一步提升的瓶頸之一。采用三維全景數(shù)字智能視頻融合系統(tǒng)可以有效地關聯(lián)融合海量監(jiān)控視頻資源，提供超越傳統(tǒng)分鏡頭監(jiān)控的全景立體可視化監(jiān)控的同時，支持快速精準地捕獲現(xiàn)場細節(jié)，有效地解決一些在單鏡頭視頻分析中所不能解決或不易解決的問題，如跨鏡頭的盯控、人員徘徊檢測、人群匯聚、交通擁堵檢測、事故隱患等。實現(xiàn)視頻監(jiān)控從“看得清”到“看的懂”的跨越式提升，有助于切實提高博物館安全運行管理的效率和快速應對突發(fā)事件的綜合管控能力。

　　三維全景數(shù)字智能視頻融合系統(tǒng)功能特點：

　?。?）基于博物館實現(xiàn)大規(guī)模廣域視頻三維場景重構，還原真實場景，解決視頻割裂、瀏覽不直觀等問題。

　?。?）基于三維地理信息的室內室外視頻實景拼接，提高了博物館環(huán)境態(tài)勢無縫掌控、分層瀏覽和信息綜合運用水平。

　?。?）基于全景畫面的高速球機關聯(lián)細節(jié)追視，實現(xiàn)博物館室內外全景和細節(jié)協(xié)同把控。

　　（4）基于博物館真實三維場景的視頻回放拼接還原，實現(xiàn)博物館三維場景拼接時空回放，提升事件回溯研判能力。

　?。?）基于三維空間信息的機器視覺分析，實現(xiàn)攝像機三維場景中拌線、禁區(qū)闖入等行為數(shù)據提取和分析，提升博物館采集的智能監(jiān)控價值和告警處置判斷力。

　?。?）基于三維空間信息的全景機器視覺分析，實現(xiàn)跨越攝像機全景人流密度視覺大數(shù)據提取和分析，提升博物館采集的數(shù)據價值和決策判斷力。

　　系統(tǒng)拓撲圖

　　三維全景數(shù)字智能視頻融合系統(tǒng)實現(xiàn)監(jiān)控視頻與三維模型的融合展示，將視頻監(jiān)控與其周邊環(huán)境進行實時融合展示，解決傳統(tǒng)監(jiān)控方式分鏡頭畫面之間相互孤立的缺陷，實現(xiàn)了分鏡頭與分鏡頭之間，分鏡頭與模塊之間的空間位置對應。系統(tǒng)通過對物理世界中安裝的監(jiān)控攝像視頻進行自動的多尺度分析，選擇出幾何突出點，進而通過采用有約束條件下二/三維共形幾何映射的算法分析，把這些幾何突出點映射到三維模型中對應的幾何點。利用先進的算法對所有固定分鏡頭視頻進行分析，檢測分離出前景目標，根據自動相機標定技術精確計算出其空間位置，按照其對應的時間序列信息，經三維重建后融合顯示至三維全真場景中，實現(xiàn)融合后的系統(tǒng)圖像無形變、不失真。此外，將視頻場景內球機關聯(lián)于全景立體監(jiān)控中，無需以球機為操作對象，系統(tǒng)自動地調度事件目標周邊的多個球機協(xié)同追視，實現(xiàn)縱覽全局和細節(jié)把控的有機結合。

　　三維全景數(shù)字智能視頻融合系統(tǒng)核心技術包含以下幾部分：

　　1.前景目標檢測

　　在運動目標檢測提取中，背景對于前景目標的識別、重建融合和跟蹤至關重要。這里前景是指在假設背景為靜止的情況下，任何有意義的運動目標。在全景立體視頻監(jiān)控系統(tǒng)中，將運動目標準確重建融合到三維場景中，實現(xiàn)全方位、無失真、無變形的監(jiān)控尤為重要。為此，將首先進行對前景運動目標的檢測，主要包括多層次前景背景建模和運動陰影抑制、噪音消除、目標缺失補償兩部分。

　　（1）多層次前景背景建模：

　　背景建模是前景目標提取的一個重要環(huán)節(jié)。建模的基本思路是從當前視頻幀中提取前景，其目的是使背景更接近當前視頻幀的背景。即利用當前幀和視頻序列中的當前背景幀進行加權平均來更新背景，但是由于光照突變以及其他外界環(huán)境的影響，一般建模后的背景并非十分干凈清晰。而且，在公共場所上的行人和車輛眾多，行進速度隨時變化，很有可能出現(xiàn)完全靜止，如果將它們更新為背景，會造成對重要目標的遺漏。基于此提出建立一個多層次混合高斯模型，用于實時的、魯棒的檢測各種速度（包括從運動到靜止）的目標。利用多層次混合高斯模型來抽取背景的方法，不僅可以魯棒的克服光線、樹枝搖動等造成的影響，而且可以克服運動物體長期靜止時的失效狀況。

　　該方法在有復雜視頻中構建的背景具有很好的自適應性，能迅速響應實際場景的變化，為智能監(jiān)控打下良好的基礎。

　?。?）運動陰影抑制、噪音消除、目標缺失補償：

　　運動陰影常被誤劃為目標造成錯誤的目標分割，綜合考慮顏色信息、空間信息和紋理信息，利用陰影的顏色、空間和紋理屬性在關注區(qū)域中確定其造成的顏色形變，通過使用顏色形變補償和紋理校正進行陰影抑制。對于產生的噪音和小部分目標缺失，將利用基于數(shù)學形態(tài)學的圖像處理方法，快速的濾除和補償。

　　2.三維重建融合

　　三維重建融合就是將二維視頻信息實時的重建到三維模型之上，通過三維虛擬觀測，實現(xiàn)對真實場景多角度、全方位的實時立體監(jiān)控。要實現(xiàn)這一目標，需要首先計算視頻參數(shù)，然后進行圖像重建，從而實現(xiàn)無形變、不失真的全景融合。

　　在計算機圖形學中，物理相機或攝像機可以用透視投影模型描述，借用相機投影矩陣可以算出世界坐標中任意點在最終投影圖像上的像素坐標，現(xiàn)實相機或攝像機也是通過投影矩陣的變換將真實場景拍攝成圖像和視頻的。反之，如果已有圖像和視頻數(shù)據，也可以通過投影矩陣反向投影回三維場景模型上，從而實現(xiàn)不失真的實時三維渲染。通常相機的投影矩陣是未知的，而已知的是視頻數(shù)據和三維場景模型。

　　首先，檢測出二維視頻和三維場景模型的特征點，實時拼接融合就是要選用自動準確的計算算法實現(xiàn)實時圖像配準。在基于特征的圖像配準中，特征描述符用來對兩幅圖像的特征進行相似性度量，合適的特征描述符對于建立圖像之間的配準映射關系和提高配準精度具有重要意義。為了適應圖像的尺度變化，提高配準算法的精度，引入多尺度匹配算法。

　　其次，通過自動或半自動的特征匹配，反算從三維場景模型到二維視頻的投影變化矩陣以及精確三維物理相機參數(shù)。在三維場景中虛擬出投影相機，再將視頻動態(tài)投射到場景的表面從而完成時空的融合。

　　最后，通過對視頻數(shù)據進行分析，檢測分離出前景目標。借用相機參數(shù)，目標的像素坐標可以轉化成三維位置信息，從而能在三維位置上對動態(tài)目標實施實時動態(tài)三維建模。在融合過程中，背景信息只需投影在靜態(tài)的三維場景模型上，而前景目標投影在三維動態(tài)重建的目標模型上，即實現(xiàn)無形變、不失真的全時空融合。該項技術可以實現(xiàn)任意多路的實時視頻處理。

　　3.視頻圖像歸一化

　　通過上述步驟實現(xiàn)了大規(guī)模攝像機視頻數(shù)據在空間和時間上拼接融合。由于視頻數(shù)據可能來自于不同品牌的攝像機，或是使用不同的光度參數(shù)，例如，曝光時間、白色平衡、伽馬校正、傳感器的靈敏度等，這些將直接產生不一致的顏色數(shù)據。此外，由于視頻監(jiān)控建設時間的不同，必然造成視頻圖像在色彩、亮度、飽和度和對比度等方面的情況也不同。為了達到更好的視覺拼接融合效果，需要將攝像機圖像進行歸一化處理，提高視頻畫面的一致性。具體分以下兩個步驟：

　?。?）視頻色彩校準

　　將Macbeth彩色影像板放置在監(jiān)控區(qū)域內，對每個攝像機的標定參數(shù)進行增益和偏移，最大限度地減少對比度和黑度，并確保線性響應和白場景的平衡。

　?。?）視頻的色彩傳遞

　　歸一化目標是一致的色彩反應，而不是絕對的色彩精確度。因此，無需將每個攝像機視頻匹配成標準色彩，而是通過色彩傳遞對攝像視頻進行兩兩色彩匹配。具體的說，是將一幅視頻圖像的顏色特征傳遞給另一幅視頻圖像，使目標圖像具有與源圖像相似的色彩。假設兩個視頻取自不同視角，但有固定的光照和不同的光度參數(shù)。在Lambertian假設場景中，兩個視頻圖像之間存在全局一致顏色映射。由于兩幅圖像中有不同區(qū)域，采用自動采集樣本的圖像顏色傳遞方法，利用特征點的方法把目標圖像和源圖像分別分成對應的子塊，根據對應的子塊顏色直方圖匹配，計算出最優(yōu)的色彩傳遞函數(shù)。對于不同視角、不同光照和光度參數(shù)的視頻，由于攝像視頻之間不存在全局一致顏色映射，給出一組色彩傳遞函數(shù)，以人工輔助的目測方法，選取最優(yōu)結果。在全局一致顏色映射存在的情況下，在RGB三個色彩通道中，RMS誤差預計不超過5%。在全局一致顏色映射不存在的情況下，到達肉眼觀察沒有明顯色差。

　　4.全時空立體可視化展示

　　支持重點區(qū)域大場景監(jiān)控、關鍵路徑自動巡航、二維和三維信息關聯(lián)顯示、攝像機反向關聯(lián)、球機協(xié)同追視和歷史事件大場景回溯。

　?。?）重點區(qū)域大場景監(jiān)控：重點區(qū)域大場景指不少于兩個分鏡頭視頻覆蓋區(qū)域對應的場景，用戶通過預設觀測點監(jiān)控重點區(qū)域的大場景，以全局視角觀察重點區(qū)域動態(tài)。通過在三維場景中虛擬投影相機，任意設置觀察視點，以當前視角監(jiān)控重點區(qū)域大場景動態(tài)。對于同一場景中高低攝像機同時存在的情況，自動將高點攝像機和低點攝像機統(tǒng)一拼接融合顯示，針對不同的視點采用不同的視頻源進行拼接和顯示：一是對于高視點、大視野的情況，采用高點攝像機進行拼接融合顯示；二是當視點降低的時候，采用低點攝像機進行拼融合顯示；三是支持放大鏡功能，對局部區(qū)域進行數(shù)字變焦顯示。

　?。?）關鍵路徑自動巡航：支持自定義巡航軌跡，并按照設定好的視角、速度進行自動巡航。巡航路徑由多個路徑控制點組成，通過設置路徑控制點，組成直線路徑、弧線路徑、圓路徑或復合路徑，系統(tǒng)按照設定好的路徑和速度依次進行自動巡航。

　　（3）二維和三維信息關聯(lián)顯示：全景立體視頻與二維地圖同步顯示，攝像機的位置和覆蓋區(qū)域以及用戶當前觀察點的位置均可以顯示在二維地圖中。

　?。?）攝像機反向關聯(lián)：在全景立體視頻上選擇所需要觀測的目標或地理位置，根據目標或地理位置自動關聯(lián)到所有照射到該目標或地理位置的攝像機。

　?。?）球機協(xié)同追視：在全景立體視頻中通過靶標交互選擇觀測目標或地理位置，根據該目標或地理位置調用周邊的多個攝像機照射到該區(qū)域，且靶標大小可調，通過調整靶標大小實現(xiàn)攝像機的光學變焦，全方位、多角度快速捕捉細節(jié)信息。對于有槍機和球機的監(jiān)控區(qū)域，統(tǒng)一用槍機的視頻進行拼接融合顯示，當用戶交互選擇觀測目標或地理位置時，自動將槍機和球機協(xié)同關聯(lián)，調用關聯(lián)的多個球機鎖定該目標區(qū)域。

　?。?）歷史事件大場景回溯：從存儲裝置中讀入多個攝像機采集的歷史視頻數(shù)據和多維傳感數(shù)據，將歷史視頻數(shù)據和多維傳感數(shù)據可視化到三維模型中，在全時空環(huán)境下正向或反向播放搜索，即設置回溯的時間段和區(qū)域、提供逐幀正播、逐幀倒播、停止播放、快進、快退和隨機定位播放，以提升歷史事件的查詢效率。

　　5.大場景、多攝像機的時空關聯(lián)關系

　　為實現(xiàn)多路監(jiān)控視頻在三維全場景下的關聯(lián)分析，首先，基于靜態(tài)貝葉斯網絡構建攝像機之間的空間拓撲關系，然后，利用動態(tài)貝葉斯網絡推理和預測多種行為模式之間的語義關聯(lián)結構。

　　貝葉斯網絡方法是基于概率分析、圖論的一種不確定性知識表達和推理模型，是一種將因果知識和概率知識相結合的信息表示框架。從直觀上講，貝葉斯網絡表現(xiàn)為一種賦值的復雜因果關系網絡圖，網絡中每一個節(jié)點表示一個攝像機，各攝像機之間的有向弧表示事件發(fā)生的直接因果關系。在貝葉斯網絡中，定性信息主要通過網絡的拓撲結構表達，而定量信息主要通過節(jié)點的聯(lián)合概率密度表示。在貝葉斯網絡中，沒有有向弧輸入的節(jié)點稱為根節(jié)點，對于根節(jié)點需要確定其先驗概率；有有向弧輸入的節(jié)點為子節(jié)點，對于每個子節(jié)點要確定其在父節(jié)點不同狀態(tài)下的條件概率。作為貝葉斯網絡推理的基礎，根據攝像機之間的空間關系和安保實戰(zhàn)經驗，對貝葉斯網絡參數(shù)（先驗概率和條件概率）進行賦值。

　　動態(tài)貝葉斯網絡是貝葉斯網絡隨時間變化的一個動態(tài)擴展，可以反映各攝像機之間一系列行為模式間的概率依賴關系。由于攝像機網絡空間拓撲結構不隨時間改變，可以假設各攝像機之間滿足一階馬爾可夫性，從而對其中行為模式的時間連續(xù)性進行建模?；舅悸肥侨中袨槟Ｊ绞怯梢幌盗芯植啃袨闃嫵傻摹Ｍㄟ^對局部行為及其關系的識別，可以有效的預測全局場景和行為。在一個攝像機發(fā)現(xiàn)異常行為的情況下，利用動態(tài)貝葉斯網絡，迅速對相關攝像機和行為模式進行預判，在三維全場景下顯示相關視頻和信息。

　　針對博物館這種人員密集，環(huán)境復雜的特殊場合，應以預防為主，打防并舉為導向。利用三維全景數(shù)字智能視頻融合系統(tǒng)實現(xiàn)基于全場景視頻智能分析的自動預警功能，對各種異常現(xiàn)象進行預警。在異常報警的情況下，依據目標參數(shù)與預定模式進行匹配，對異常行為進行識別和確定優(yōu)先級別，實時跨鏡頭智能報警和結果顯示。同時，根據異常報警的優(yōu)先級，選取和該報警信息有時空關聯(lián)的所有攝像機數(shù)據，自動調用球機鎖定該區(qū)域協(xié)同追視，實現(xiàn)全景立體視頻自動聚焦顯示，從而極大的提高了對視頻資源的高效應用和應急指揮效能。