在本屆大會(huì)上,商湯徐立博士和顏深根博士分別就深度視頻理解和工業(yè)級(jí)深度學(xué)習(xí)技術(shù)做了演講。商湯所展示的SensePose、SenseFace、SenseVideo、SensePhoto、SenseAR等解決方案,充分詮釋了其業(yè)內(nèi)領(lǐng)先的深度學(xué)習(xí)原創(chuàng)技術(shù)的優(yōu)勢(shì),以學(xué)習(xí)能力更強(qiáng)、速更快、功耗更低的神經(jīng)網(wǎng)絡(luò)架構(gòu),結(jié)合GPU技術(shù),實(shí)現(xiàn)了深度視頻理解和圖像處理的更多可能。
● SensePose:單目攝像頭實(shí)現(xiàn)人體動(dòng)作估計(jì)
作為商湯科技首次亮相的產(chǎn)品,SensePose具有開(kāi)拓性意義。它區(qū)別于以往的雙目攝像頭、帶紅外線攝像頭、關(guān)節(jié)處佩戴傳感器等傳統(tǒng)的動(dòng)作捕捉解決方案,通過(guò)單目攝像頭即實(shí)現(xiàn)了動(dòng)作估計(jì),大大降低了動(dòng)作捕捉設(shè)備的制造成本。SensePose可充分利用GPU性能,可精確地將關(guān)鍵點(diǎn)定位在10個(gè)像素以內(nèi)的人體關(guān)節(jié),從而在視頻中實(shí)時(shí)、準(zhǔn)確地識(shí)別人體姿態(tài),定位手、肩、腳、腰等十幾個(gè)關(guān)鍵點(diǎn)位置,魯棒性好。
SensePose將成為日后人機(jī)交互、虛擬穿戴、虛擬試衣等應(yīng)用的決定性技術(shù),應(yīng)用前景廣泛。而動(dòng)作估計(jì)與人臉預(yù)測(cè)技術(shù)相結(jié)合,更可用于描述視頻中人物關(guān)系或人物狀態(tài),從而實(shí)現(xiàn)視頻內(nèi)容的理解和分析,為影視行業(yè)創(chuàng)造更多商業(yè)價(jià)值。
此外,商湯科技還展示了一套運(yùn)行于NVIDIA TITAN X GPU上,可讀取雙目視頻,并實(shí)時(shí)計(jì)算深度的高質(zhì)量雙目深度估計(jì)系統(tǒng)。憑借商湯科技全新開(kāi)發(fā)的神經(jīng)網(wǎng)絡(luò)架構(gòu),該系統(tǒng)在權(quán)威自動(dòng)駕駛算法評(píng)測(cè)數(shù)據(jù)集KITTI 2015立體基準(zhǔn)上獲得了超越的性能表現(xiàn)。
●SenseFace:視頻監(jiān)控中的大規(guī)模人臉識(shí)別
SenseFace人臉布控系統(tǒng),非常適合用于飛機(jī)場(chǎng)、火車站等公共場(chǎng)合的大規(guī)模視頻監(jiān)控系統(tǒng)中的實(shí)時(shí)大庫(kù)人臉識(shí)別。該系統(tǒng)可提供在監(jiān)控視頻中實(shí)時(shí)抓拍人臉、布控報(bào)警、屬性識(shí)別、統(tǒng)計(jì)分析、重點(diǎn)人員軌跡還原等功能,并做出及時(shí)有效的智能預(yù)警。憑借商湯科技的超過(guò)1000層的神經(jīng)網(wǎng)絡(luò),SenseFace在光照、角度、表情、遮擋、年齡變化等情況下,仍能保持超高的識(shí)別準(zhǔn)確率。得益于NVIDIA cuDNN和TensorRT庫(kù),SenseFace可分別在單個(gè)Tesla M40 GPU和單個(gè)Jetson TX1上支持12路和2路全高清視頻的實(shí)時(shí)處理。目前,SenseFace已協(xié)助抓獲數(shù)百名罪犯。
● SenseVideo:視頻監(jiān)控中的對(duì)象識(shí)別與分析
SenseVideo視頻結(jié)構(gòu)化系統(tǒng),是商湯科技在全球權(quán)威的計(jì)算機(jī)視覺(jué)競(jìng)賽ILSVRC 2016中獲得場(chǎng)景分析第一名的深度學(xué)習(xí)模型的實(shí)際應(yīng)用成果。該系統(tǒng)擁有行人檢測(cè)、車輛檢測(cè)、車輛分類等多種技術(shù),可以在監(jiān)控視頻中按照時(shí)間和地點(diǎn),實(shí)現(xiàn)人、非機(jī)動(dòng)車和機(jī)動(dòng)車的檢測(cè)、跟蹤、抓拍、檢索及數(shù)據(jù)統(tǒng)計(jì)和分析,為路面狀況動(dòng)態(tài)分析、車流密集地段識(shí)別、街面安全時(shí)段分析提供強(qiáng)大助力。得益于NVIDIA cuDNN和TensorRT庫(kù),SenseVideo在單個(gè)Jetson TX1平臺(tái)上即可實(shí)時(shí)處理雙路高清視頻。
● SensePhoto:全面的手機(jī)影像處理解決方案
SensePhoto目前已被中國(guó)前十大國(guó)產(chǎn)手機(jī)品牌中的大部分品牌所使用。借助基于GPU的深度學(xué)習(xí)引擎,SensePhoto可以提供暗光增強(qiáng)、去霧、智能濾鏡、藝術(shù)畫(huà)以及多種人像拍照解決方案,包括人臉變形、美顏、背景虛化等功能,即便是在遇到暗光、逆光、大角度的情況下,效果也不成問(wèn)題。SensePhoto還可提供智能相冊(cè)解決方案,能夠?qū)崿F(xiàn)云端及離線端的人臉或場(chǎng)景聚類,輕松解決手機(jī)中上百數(shù)千張照片的管理歸類難題。
● SenseAR:實(shí)時(shí)視頻中AR特效生成解決方案
SenseAR結(jié)合了全球領(lǐng)先的人臉檢測(cè)及追蹤、106個(gè)人臉關(guān)鍵點(diǎn)定位等技術(shù)。基于手機(jī)攝像頭,SenseAR可進(jìn)行臉部、手勢(shì)、前背景的跟蹤定位,并進(jìn)行增強(qiáng)現(xiàn)實(shí)感特效的內(nèi)容繪制,可應(yīng)用于娛樂(lè)、教育等諸多領(lǐng)域。目前,包括Faceu、SNOW、小咖秀、熊貓直播等多種APP中均采用了SenseAR技術(shù),用戶可以體驗(yàn)到趣味面部貼紙、變臉乃至動(dòng)作增強(qiáng)、背景替換等眾多有趣的功能。
作為中國(guó)匯聚科學(xué)家數(shù)量最多的創(chuàng)業(yè)公司,商湯科技擁有備受業(yè)內(nèi)認(rèn)可的大量學(xué)術(shù)成果。自主研發(fā)的深度學(xué)習(xí)框架,自主搭建的深度學(xué)習(xí)超算平臺(tái)DeepLink,更成為商湯科技巨大的技術(shù)優(yōu)勢(shì)。同時(shí),結(jié)合與NVIDIA、Mellanox、曙光等平臺(tái)廠商的合作,以及在金融、安防、手機(jī)、互聯(lián)網(wǎng)等領(lǐng)域超過(guò)300家的簽約合作客戶,商湯科技成功打造了SenseTime Inside的AI商業(yè)生態(tài),如今已成長(zhǎng)為一只AI獨(dú)角獸,并且成為目前中國(guó)融資額最大的AI企業(yè)。