近年來(lái)，人工智能（AI）技術(shù)突飛猛進(jìn)，隨之也帶來(lái)了AI技術(shù)可能被濫用的問(wèn)題。當(dāng)前AI圖像合成技術(shù)可以創(chuàng)造逼真的虛擬人物，引發(fā)“眼見(jiàn)不一定為實(shí)”的普遍擔(dān)憂。如果不法分子利用合成人臉進(jìn)行詐騙、誹謗以及盜取機(jī)密信息等活動(dòng)，將會(huì)給社會(huì)安全與穩(wěn)定造成嚴(yán)重的負(fù)面影響。

近日，上海交通大學(xué)電子信息與電氣工程學(xué)院人工智能研究院教授楊小康團(tuán)隊(duì)的“End-to-End Reconstruction-Classification Learning for Face Forgery Detection”“Exploring Frequency Adversarial Attacks for Face Forgery Detection”兩篇論文已被人工智能?chē)?guó)際頂級(jí)會(huì)議CVPR 2022收錄。楊小康帶領(lǐng)的數(shù)字人研究團(tuán)隊(duì)致力于從機(jī)器學(xué)習(xí)角度去鑒別人臉圖像和視頻的真假，推動(dòng)可信人工智能的發(fā)展。由楊小康教授、馬超副教授聯(lián)合指導(dǎo)的兩篇相關(guān)論文在偽造人臉鑒別的準(zhǔn)確性和魯棒性?xún)煞矫嫒〉昧讼到y(tǒng)性突破，在國(guó)際上率先為人臉認(rèn)證、虛擬數(shù)字人等產(chǎn)業(yè)健康發(fā)展鍛造了AI執(zhí)劍人。

CVPR（計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議，IEEE Conference on Computer Vision and Pattern Recognition）是計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域的頂級(jí)會(huì)議，被中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦為A類(lèi)會(huì)議。根據(jù)谷歌學(xué)術(shù)公布的2021年最新學(xué)術(shù)期刊和會(huì)議影響力排名，CVPR在所有學(xué)術(shù)刊物和會(huì)議中位居第4，僅次于《Nature》、《NEJM》和《Science》。

當(dāng)前鑒別人臉圖像是否偽造存在兩方面技術(shù)難題：一是如何鑒別未知方法偽造的人臉圖像。當(dāng)前主流鑒別方法都是針對(duì)特定的幾種人臉偽造方法所設(shè)計(jì)的，鑒別未知方法偽造的人臉圖像則效果不佳；二是人臉偽造本質(zhì)上是利用深度學(xué)習(xí)對(duì)人臉圖像進(jìn)行信息篡改，當(dāng)前的鑒別方法沒(méi)有考慮利用深度學(xué)習(xí)對(duì)鑒別方法自身的攻擊。為此，楊小康團(tuán)隊(duì)提出名為RECCE（中文釋義：偵查）的鑒別方法，利用圖像重建技術(shù)放大偽造痕跡，即使是方法未知的偽造人臉圖像，也能十分容易地準(zhǔn)確識(shí)別偽造區(qū)域。同時(shí)，該研究團(tuán)隊(duì)設(shè)計(jì)了針對(duì)偽造人臉鑒別方法的抗攻擊測(cè)試，提出名為Hybrid Attack的攻擊方法，對(duì)偽造人臉圖像進(jìn)行人眼不可見(jiàn)的微量修改成功欺騙了鑒別算法，使其判斷為真實(shí)人臉圖像?？构魷y(cè)試大幅提升了偽造人臉檢測(cè)算法的魯棒性。

圖像重建讓偽造無(wú)所遁形

現(xiàn)有偽造人臉檢測(cè)方法大多通過(guò)分析輸入圖像所采用的特定合成模式來(lái)辨別是否偽造人臉，比如微軟亞洲研究院提出的Face X-Ray算法將圖像融合的邊界作為合成模式來(lái)判定是否偽造，該算法認(rèn)為每張合成人臉圖像至少由兩張圖像疊加而成，即面部中間來(lái)源于一張圖像，而面部周?chē)鷣?lái)源于另一張圖像。然而，隨著偽造技術(shù)的發(fā)展，過(guò)度關(guān)注特定的已知合成模式容易造成無(wú)法識(shí)別全新合成方法生成的偽造樣本。同時(shí)，圖像傳輸過(guò)程中的壓縮、模糊、飽和度失調(diào)等噪聲也可能破壞已知的合成模式，從而影響偽造人臉檢測(cè)算法的準(zhǔn)確度。

研究團(tuán)隊(duì)從一個(gè)新的視角來(lái)探索偽造人臉檢測(cè)任務(wù)，設(shè)計(jì)了一個(gè)名為RECCE的“重建—分類(lèi)”學(xué)習(xí)框架，通過(guò)重建人臉圖像來(lái)學(xué)習(xí)真實(shí)人臉的共性特征，并根據(jù)分類(lèi)任務(wù)來(lái)挖掘真實(shí)人臉與偽造人臉的本質(zhì)差異。簡(jiǎn)單來(lái)說(shuō)，利用真實(shí)人臉圖像訓(xùn)練了一個(gè)重建網(wǎng)絡(luò)，并利用重建網(wǎng)絡(luò)的隱層特征來(lái)對(duì)真實(shí)與偽造人臉進(jìn)行分類(lèi)。由于偽造人臉與真實(shí)人臉在數(shù)據(jù)分布上存在不一致，因此偽造人臉的重建誤差更明顯，且能更準(zhǔn)確地反映偽造區(qū)域。

上圖分別展示了輸入為真實(shí)人臉和對(duì)嘴部區(qū)域進(jìn)行合成的偽造人臉。該團(tuán)隊(duì)設(shè)計(jì)的重建方法可以有效區(qū)分真實(shí)與偽造人臉，并且能準(zhǔn)確顯示偽造區(qū)域（嘴部紅色掩碼），為智能鑒別技術(shù)提供了較好的可解釋性

研究人員在偽造人臉檢測(cè)常用數(shù)據(jù)集如FaceForensics++ （FF++）和WildDeepfake上進(jìn)行了大量實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明基于圖像重建的檢測(cè)方法取得了當(dāng)前最優(yōu)的偽造人臉檢測(cè)精度。尤其在FF++數(shù)據(jù)集c40（即低分辨率）設(shè)置下，所提出的方法比當(dāng)前最好的算法F3-Net提升了1.72%AUC。為了驗(yàn)證本算法在復(fù)雜場(chǎng)景下的偽造檢測(cè)性能，研究人員還將所提出算法在當(dāng)前最大規(guī)模的數(shù)據(jù)集DFDC上進(jìn)行實(shí)驗(yàn)，結(jié)果展示于下圖表中。

表中可以看出，所提出算法依然取得了最佳性能，并在AUC上領(lǐng)先次優(yōu)方法1.01%。以上實(shí)驗(yàn)結(jié)果充分說(shuō)明了本算法相較于現(xiàn)有方法的優(yōu)越性。

偽造人臉檢測(cè)抗攻擊測(cè)試

AI合成的偽造人臉主要是欺騙人眼的判斷，同時(shí)AI能通過(guò)人眼不可見(jiàn)的像素修改欺騙偽造人臉鑒別算法。因此，對(duì)偽造人臉檢測(cè)算法開(kāi)展抗攻擊測(cè)試變得十分重要。

對(duì)于偽造人臉檢測(cè)任務(wù)，現(xiàn)有的對(duì)抗攻擊方法通常是在像素上增加微弱的擾動(dòng)使得檢測(cè)方法做出錯(cuò)誤的判斷，比如在偽造人臉圖像上添加人眼不可見(jiàn)的像素改變可以蒙蔽檢測(cè)方法，使其識(shí)別為真實(shí)人臉。麻省理工大學(xué)團(tuán)隊(duì)提出的PGD算法，將神經(jīng)網(wǎng)絡(luò)反傳的梯度變化不斷添加到原始圖像上，得到最終的對(duì)抗樣本，容易引起訓(xùn)練過(guò)擬合而遷移性較差。此外，添加擾動(dòng)的方法也破壞了原始圖像的質(zhì)量，無(wú)法得到高質(zhì)量的攻擊樣本。

該團(tuán)隊(duì)研究人員觀察到，現(xiàn)有檢測(cè)方法往往利用頻率信息來(lái)鑒別人臉真?zhèn)危谑怯嗅槍?duì)性地設(shè)計(jì)了一種基于頻率的對(duì)抗攻擊方法作為測(cè)試。具體來(lái)說(shuō)，通過(guò)對(duì)輸入人臉圖像應(yīng)用離散余弦變換（DCT），在頻域中引入適應(yīng)性的對(duì)抗噪聲，再將結(jié)果轉(zhuǎn)化到空間域，得到最后的對(duì)抗攻擊樣本。此外，受元學(xué)習(xí)思想的啟發(fā)，還提出了一種融合空間域和頻域的對(duì)抗攻擊方法Hybrid Attack，在保證已知鑒別模型條件下的攻擊成功率的同時(shí)，進(jìn)一步加強(qiáng)了未知鑒別模型條件下攻擊的跨模型遷移性。

與此前麻省理工大學(xué)提出的對(duì)抗攻擊方法PGD相比，在頻域添加對(duì)抗信息，從而更不易被人眼察覺(jué)，同時(shí)也不會(huì)降低人臉圖像的視覺(jué)質(zhì)量。該方法不僅可以有效地欺騙基于人臉圖像空間域變換設(shè)計(jì)的鑒別方法，還可以有效地欺騙基于人臉圖像頻域變換設(shè)計(jì)的鑒別方法。大量實(shí)驗(yàn)結(jié)果表明，所提出的新方法在多個(gè)大規(guī)模數(shù)據(jù)集上取得當(dāng)前最好的對(duì)抗攻擊效果，為偽造人臉檢測(cè)算法提供了最強(qiáng)的對(duì)抗攻擊樣本作為測(cè)試。

以上兩項(xiàng)成果由電院人工智能研究院楊小康團(tuán)隊(duì)與騰訊優(yōu)圖實(shí)驗(yàn)室緊密合作產(chǎn)出，算法成果可應(yīng)用于遠(yuǎn)程身份認(rèn)證、圖像和視頻鑒偽等多種場(chǎng)景，充分保障人臉作為身份驗(yàn)證的安全性需求。

電院人工智能研究院碩士生曹雋逸、博士生賈率分別為以上兩篇論文的第一作者，人工智能研究院副教授馬超為兩篇論文的通訊作者；合作者包括騰訊優(yōu)圖實(shí)驗(yàn)室研究員姚太平、陳燊、尹邦杰、丁守鴻博士等。

2020年以來(lái)，人工智能研究院面向數(shù)字人的大規(guī)模生成需求，楊小康教授帶領(lǐng)的數(shù)字人研究團(tuán)隊(duì)針對(duì)數(shù)字人的可泛化、可驅(qū)動(dòng)、可交互、可信認(rèn)證等科學(xué)難題，發(fā)展生成式數(shù)字人理論與技術(shù)，旨在提升數(shù)字人的生成質(zhì)量與生成效率、賦予數(shù)字人在數(shù)字空間的感知、交互及可信溯源能力。未來(lái)，人工智能研究院將繼續(xù)按照學(xué)校戰(zhàn)略部署，打造人工智能跨學(xué)科研究高地，形成交大特色的人工智能創(chuàng)新生態(tài)，提升學(xué)校人工智能學(xué)術(shù)影響力，塑造人工智能“交大品牌”。（來(lái)源：上海交大）