FRVT是由美國(guó)國(guó)家標(biāo)準(zhǔn)技術(shù)局NIST(National Institute of Standards and Technology)組織的人臉識(shí)別供應(yīng)商測(cè)試,作為美國(guó)國(guó)家采購(gòu)的官方指導(dǎo),其測(cè)試的權(quán)威性是全球工業(yè)界實(shí)際應(yīng)用的黃金標(biāo)準(zhǔn)。其人臉識(shí)別測(cè)試集合來(lái)自美國(guó)國(guó)土安全局的真實(shí)業(yè)務(wù)場(chǎng)景,例如出入境、刑偵過(guò)程中收集的大量照片,如果測(cè)試成績(jī)好,則代表該技術(shù)可以在實(shí)戰(zhàn)場(chǎng)景中直接應(yīng)用。
與時(shí)下熱門(mén)的由學(xué)術(shù)機(jī)構(gòu)舉辦的LFW、MegaFace測(cè)試相比, FRVT更貼近實(shí)戰(zhàn),測(cè)試規(guī)模更大,不僅擁有百萬(wàn)量級(jí)測(cè)試數(shù)據(jù),同時(shí)這些測(cè)試數(shù)據(jù)均不公開(kāi),有效避免算法過(guò)擬合甚至是作弊手段,評(píng)測(cè)嚴(yán)謹(jǐn)且全面性,測(cè)試結(jié)果更具權(quán)威性。
在NIST官方最新發(fā)布的報(bào)告中,依圖科技在千萬(wàn)分之一誤報(bào)下(采樣百億對(duì)樣本)的準(zhǔn)確率為 95.5%,比第二名俄羅斯公司Vocord 93.5%的準(zhǔn)確率高出2%。這是目前為止,全球公開(kāi)的、最大規(guī)模測(cè)試集、最權(quán)威測(cè)試指標(biāo)下的最好成績(jī),比2014年參與同樣測(cè)試的第一名日本公司NEC在準(zhǔn)確率上有大幅提高。
NIST針對(duì)測(cè)試作了不同場(chǎng)景、不同人種、不同性別、不同年齡的識(shí)別性能比較。在FRVT官方發(fā)布的描述中,其提供的測(cè)試數(shù)據(jù)對(duì)應(yīng)了出入境管理、身份門(mén)禁認(rèn)證、平安城市監(jiān)控等實(shí)戰(zhàn)應(yīng)用場(chǎng)景,依圖在四項(xiàng)主要的測(cè)試場(chǎng)景中均獲得第一名。在更詳細(xì)的人種(黑人、白人、亞洲人等)、性別比較中,依圖的算法表現(xiàn)幾乎沒(méi)有差異;相比其他算法隨著識(shí)別難度增加,識(shí)別率出現(xiàn)了不同程度的較大降低,依圖在在不同類(lèi)型數(shù)據(jù)分布的實(shí)用場(chǎng)景中,例如黑人較多的場(chǎng)景下,算法都有穩(wěn)定表現(xiàn)。