北京大學(xué)信息工程學(xué)院——張健課題組在計(jì)算機(jī)視覺方面取得重要研究進(jìn)展

　　CVPR全稱IEEE國際計(jì)算機(jī)視覺與模式識別會議(IEEE Conference on Computer Vision and Pattern Recognition），該會議始于1983年，每年舉辦一次，是計(jì)算機(jī)視覺和模式識別領(lǐng)域的國際頂級會議。根據(jù)谷歌學(xué)術(shù)公布的2021年最新學(xué)術(shù)期刊和會議影響力排名，CVPR在所有學(xué)術(shù)刊物中位居第4，僅次于Nature，NEJM和Science。張健助理教授課題組分別在圖像隱寫/高光譜圖像重建/自然圖像重建等底層視覺研究方向共有3篇論文被CVPR 2022錄用。

　　圖像隱寫術(shù)(Image Steganography)旨在隱秘地將隱藏信息嵌入到一張與宿主圖像近似的容器圖中。此前的隱寫方案通常將隱寫和重建視為兩部分網(wǎng)絡(luò)進(jìn)行構(gòu)建，難以同時保證可靠的重建質(zhì)量和隱秘性；現(xiàn)有技術(shù)對網(wǎng)絡(luò)傳輸中的噪聲和壓縮也相當(dāng)敏感，容器圖上輕微的干擾即可能影響重建質(zhì)量。如圖1所示,論文“Robust Invertible Image Steganography”提出了一種可逆圖像隱寫方法，通過設(shè)計(jì)條件標(biāo)準(zhǔn)化流模型（Conditional Normalizing Flow），將圖像的隱寫和解密視作一對逆問題加以聯(lián)合高效求解。為了提升隱寫容量和重構(gòu)質(zhì)量，論文提出了分布映射模塊，能夠給重建過程提供有效引導(dǎo)，從而保留隱藏圖的更多高頻信息。同時，在端到端訓(xùn)練中引入了對各類失真的模擬，在重建網(wǎng)絡(luò)中設(shè)計(jì)了圖像增強(qiáng)模塊以提升魯棒性。綜上，論文構(gòu)建了一個強(qiáng)魯棒性的高效圖像隱寫框架，在水印鑒權(quán)、換臉檢測、屏顯隱藏圖像等方面有著廣泛應(yīng)用。該工作由課題組獨(dú)立完成，論文通訊作者為張健助理教授，信息工程學(xué)院為第一作者單位，許佑民同學(xué)為第一作者，合作者還包括課題組的牟沖同學(xué)、胡妤婕同學(xué)、謝靜芬同學(xué)。

　　光譜壓縮感知被廣泛地應(yīng)用在成像系統(tǒng)上，其目的是利用二維傳感器來捕捉三維的高光譜信號，進(jìn)而取得低帶寬、高計(jì)算通量的優(yōu)勢。成像系統(tǒng)通過硬件編碼器壓縮二維信號，隨后運(yùn)用重建算法實(shí)現(xiàn)高維信號的復(fù)原。然而，現(xiàn)有的方法均存在一定的局限性，如基于模型的方法迭代時間較長，實(shí)時性差；基于網(wǎng)絡(luò)的方法又缺乏一定的可解釋性。論文“HerosNet: Hyperspectral Explicable Reconstruction and Optimal Sampling Deep Network for Snapshot Compressive Imaging”研究的內(nèi)容是可解釋深度神經(jīng)網(wǎng)絡(luò)在光譜壓縮感知上的應(yīng)用。課題組的研究表明，基于深度展開的方法能夠很好地利用兩種方法的優(yōu)勢，并有效解決現(xiàn)有深度展開方法中缺乏跨階段特征交互和自適應(yīng)參數(shù)調(diào)整的問題。該研究結(jié)果所設(shè)計(jì)的深度展開網(wǎng)絡(luò)受優(yōu)化方法中的近鄰映射啟發(fā)，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，能夠聯(lián)合實(shí)現(xiàn)掩膜優(yōu)化和高光譜重建。該網(wǎng)絡(luò)通過引入動態(tài)梯度下降模塊來模擬采樣矩陣，自適應(yīng)地更新迭代步長；該網(wǎng)絡(luò)通過層級特征交互模塊，融合之前階段的特征用以重建當(dāng)前階段的圖像。論文通訊作者為張健助理教授，信息工程學(xué)院為第一作者單位，張軒宇同學(xué)為第一作者，合作者還包括香港中文大學(xué)孫啟霖助理教授、哈爾濱工業(yè)大學(xué)（深圳）張永兵教授和北京大學(xué)熊瑞勤教授。

　　自然圖像重建具有廣泛的應(yīng)用價值，可以顯著提升圖像或視頻的視覺質(zhì)量?，F(xiàn)有圖像重建方法在性能和模型可解釋性上都存在一定的缺陷。論文“Deep Generalized Unfolding Networks for Image Restoration”針對現(xiàn)有的缺陷研究了可解釋性網(wǎng)絡(luò)在自然圖像重建上的應(yīng)用。研究表明，優(yōu)化啟發(fā)式的網(wǎng)絡(luò)設(shè)計(jì)在提升模型可解釋性的同時也可以提升模型性能。如圖3所示，論文設(shè)計(jì)的新型深度展開網(wǎng)絡(luò)由近端梯度下降算法（PGD）展開而成，每個階段的網(wǎng)絡(luò)結(jié)構(gòu)由數(shù)據(jù)模塊和先驗(yàn)?zāi)K交替堆疊而成，其中引入級間跳躍連接來個改進(jìn)傳統(tǒng)算法中存在的信息損失。通過可學(xué)習(xí)模塊替換傳統(tǒng)算子，所設(shè)計(jì)的模型具有良好的自適應(yīng)能力，同時保持了良好的可解釋性，在多個自然圖像重建任務(wù)中取得了領(lǐng)先性能。該工作由課題組獨(dú)立完成，論文通訊作者為張健助理教授，信息工程學(xué)院為第一作者單位，牟沖同學(xué)為第一作者，論文合作者還包括課題組的王茜同學(xué)。

　　以上三項(xiàng)研究成果得到了深圳市基礎(chǔ)研究專項(xiàng)以及國家自然科學(xué)基金的支持，在算力方面得到了深圳鵬城實(shí)驗(yàn)室的“鵬城云腦”支持。