近日，一年一度的計(jì)算機(jī)視覺學(xué)術(shù)盛宴CVPR（IEEE Conference on Computer Vision and Pattern Recognition）剛剛落下帷幕。在本屆CVPR大會(huì)中，為了促進(jìn)機(jī)器學(xué)習(xí)與計(jì)算機(jī)視覺技術(shù)在圖像和視頻壓縮領(lǐng)域的發(fā)展，由Google、Apple、Netflix等公司聯(lián)合舉辦的第五屆CVPR-CLIC2022（The 5th Workshop and Challenge on Learned Image Compression）競(jìng)賽吸引了全球大量的隊(duì)伍參與，其中也包括阿里巴巴、字節(jié)跳動(dòng)、商湯等在業(yè)內(nèi)處于領(lǐng)先地位的科技公司及清華、北大、中科大等頂尖高校。

       在歷經(jīng)兩個(gè)多月的激烈角逐后，通信工程學(xué)院何剛老師帶領(lǐng)團(tuán)隊(duì)Kingslayer（團(tuán)隊(duì)成員：王勇、徐莉、張文莉）和北京快手科技有限公司合作在圖像質(zhì)量感知賽道（Perceptual Quality Track）中獲得全球第三（季軍），高校排名第二的優(yōu)異成績(jī)。何剛老師是通信工程學(xué)院圖像傳輸與處理研究所（圖像所）骨干成員，圖像所隸屬于ISN國(guó)家重點(diǎn)實(shí)驗(yàn)室，負(fù)責(zé)人為李云松教授。

      團(tuán)隊(duì)在CVPR-CLIC2022競(jìng)賽全球第三的獲獎(jiǎng)證書

      團(tuán)隊(duì)發(fā)表于CVPR2022 Workshop的FFDN質(zhì)量評(píng)價(jià)論文相關(guān)信息

      當(dāng)今圖像與視頻成為人們獲取信息的最主要方式，然而圖像視頻從采集、壓縮、存儲(chǔ)到傳輸，都可能發(fā)生失真，從而導(dǎo)致接收到的視覺信息丟失，因此評(píng)價(jià)圖像視頻的質(zhì)量好壞對(duì)圖像恢復(fù)、圖像檢索、圖像質(zhì)量監(jiān)控系統(tǒng)等各個(gè)方面有著重要的作用及廣泛的應(yīng)用。同時(shí)，構(gòu)建更加準(zhǔn)確高效的客觀質(zhì)量評(píng)價(jià)模型代替較為費(fèi)時(shí)費(fèi)力的主觀質(zhì)量評(píng)價(jià)已成為研究與發(fā)展的趨勢(shì)。在今年舉辦的CVPR-CLIC2022圖像壓縮競(jìng)賽中，圖像質(zhì)量感知賽道旨在讓參賽選手設(shè)計(jì)更加準(zhǔn)確高效的有參考質(zhì)量評(píng)價(jià)模型（FR-IQA）來對(duì)壓縮受損的圖像進(jìn)行客觀質(zhì)量評(píng)價(jià)。但由于圖像壓縮受損的多種算法未知，且大多數(shù)不同失真圖與參考圖十分相似導(dǎo)致差異化不明顯，甚至包含很多人眼主觀難以給出評(píng)價(jià)的失真圖像。因此對(duì)搭建有參考質(zhì)量評(píng)價(jià)模型提出較高的挑戰(zhàn)難度。

      針對(duì)這一具有挑戰(zhàn)的任務(wù)，何剛老師帶領(lǐng)團(tuán)隊(duì)Kingslayer設(shè)計(jì)了一個(gè)聚焦特征差異化網(wǎng)絡(luò)的質(zhì)量評(píng)價(jià)模型（Focused Feature Differentiation Network for Image Quality Assessment，F(xiàn)FDN），模型針對(duì)失真圖與參考圖相似導(dǎo)致差異化不明顯的情況使用通道注意力聚焦失真圖與參考圖的差異化特征圖。同時(shí)，使用多尺度特征融合，在不同感受野下進(jìn)行特征融合，使聚焦后的差異化特征得到最大化利用。此外，針對(duì)單一評(píng)價(jià)指標(biāo)在質(zhì)量評(píng)價(jià)中存在的部分局限性，使用多評(píng)價(jià)指標(biāo)融合的方式來提升評(píng)價(jià)效果。最終在比賽測(cè)試集上準(zhǔn)確率為79.6%，獲得了第三名的優(yōu)異成績(jī)，且前三名差距較小，準(zhǔn)確率均高于79%，大幅超出第四名。在其他評(píng)價(jià)指標(biāo)ELO SRCC和ELO PLCC上得分分別為0.95和0.96，均位于第三名。ELO SRCC和ELO PLCC指標(biāo)用于反映模型打分與人類主觀打分的相近程度，從指標(biāo)結(jié)果來看，F(xiàn)FDN質(zhì)量評(píng)價(jià)模型很大程度上接近人眼主觀評(píng)價(jià)水平。

      提出的FFDN質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)的模型結(jié)構(gòu)圖