FRVT是由美國國家標(biāo)準(zhǔn)技術(shù)局NIST(National Institute of Standards and Technology)組織的人臉識別供應(yīng)商測試,作為美國國家采購的官方指導(dǎo),其測試的權(quán)威性是全球工業(yè)界實際應(yīng)用的黃金標(biāo)準(zhǔn)。其人臉識別測試集合來自美國國土安全局的真實業(yè)務(wù)場景,例如出入境、刑偵過程中收集的大量照片,如果測試成績好,則代表該技術(shù)可以在實戰(zhàn)場景中直接應(yīng)用。
與時下熱門的由學(xué)術(shù)機(jī)構(gòu)舉辦的LFW、MegaFace測試相比, FRVT更貼近實戰(zhàn),測試規(guī)模更大,不僅擁有百萬量級測試數(shù)據(jù),同時這些測試數(shù)據(jù)均不公開,有效避免算法過擬合甚至是作弊手段,評測嚴(yán)謹(jǐn)且全面性,測試結(jié)果更具權(quán)威性。
在NIST官方最新發(fā)布的報告中,依圖科技在千萬分之一誤報下(采樣百億對樣本)的準(zhǔn)確率為 95.5%,比第二名俄羅斯公司Vocord 93.5%的準(zhǔn)確率高出2%。這是目前為止,全球公開的、最大規(guī)模測試集、最權(quán)威測試指標(biāo)下的最好成績,比2014年參與同樣測試的第一名日本公司NEC在準(zhǔn)確率上有大幅提高。
NIST針對測試作了不同場景、不同人種、不同性別、不同年齡的識別性能比較。在FRVT官方發(fā)布的描述中,其提供的測試數(shù)據(jù)對應(yīng)了出入境管理、身份門禁認(rèn)證、平安城市監(jiān)控等實戰(zhàn)應(yīng)用場景,依圖在四項主要的測試場景中均獲得第一名。在更詳細(xì)的人種(黑人、白人、亞洲人等)、性別比較中,依圖的算法表現(xiàn)幾乎沒有差異;相比其他算法隨著識別難度增加,識別率出現(xiàn)了不同程度的較大降低,依圖在在不同類型數(shù)據(jù)分布的實用場景中,例如黑人較多的場景下,算法都有穩(wěn)定表現(xiàn)。