科學(xué)島團(tuán)隊(duì)提出遙感圖像融合領(lǐng)域的頻域無關(guān)特征學(xué)習(xí)框架

　　近期，中國(guó)科學(xué)院合肥物質(zhì)院智能所謝成軍與張潔團(tuán)隊(duì)提出了一種全新的頻域無關(guān)特征學(xué)習(xí)框架，為多源異構(gòu)遙感圖像的統(tǒng)一表征與自適應(yīng)融合提供了新的解決方案。該研究在計(jì)算機(jī)視覺領(lǐng)域TOP國(guó)際期刊IEEE Transactions on Circuits and Systems for Video Technology.(IEEE TCSVT)上發(fā)表。
 

　　遙感圖像全色銳化是遙感圖像處理方向的核心技術(shù)，它通過融合高分辨率的全色圖像和低分辨率的多光譜圖像，從而生成細(xì)節(jié)更加豐富、視覺清晰度更高的高分辨率多光譜遙感圖像。這項(xiàng)技術(shù)在提升光學(xué)遙感衛(wèi)星的空間分辨率與光譜分辨率平衡方面具有重要應(yīng)用價(jià)值，然而，現(xiàn)有的遙感圖像全色銳化方法在面對(duì)分布外數(shù)據(jù)時(shí)通常會(huì)出現(xiàn)顯著的性能下降，原因在于其假設(shè)訓(xùn)練集和測(cè)試集的數(shù)據(jù)分布相同。
 

　　為克服上述挑戰(zhàn)，研究團(tuán)隊(duì)提出了全新的頻域無關(guān)特征學(xué)習(xí)框架。該方法通過分析圖像幅值與相位分量中的域無關(guān)信息分布，利用頻率信息分離模塊和可學(xué)習(xí)的高頻濾波器來對(duì)圖像信息進(jìn)行解耦，再將這些信息輸入專門設(shè)計(jì)的子網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。最終，經(jīng)過信息融合與恢復(fù)模塊的動(dòng)態(tài)特征通道權(quán)重調(diào)整，生成高質(zhì)量的融合圖像。在多個(gè)公開數(shù)據(jù)集上的跨場(chǎng)景測(cè)試結(jié)果表明，該方法在泛化性能方面表現(xiàn)優(yōu)越，能夠有效應(yīng)對(duì)不同數(shù)據(jù)分布的挑戰(zhàn)。通過在WorldView-III數(shù)據(jù)集上訓(xùn)練，并將其泛化到其他數(shù)據(jù)集進(jìn)行測(cè)試，該方法不僅在訓(xùn)練數(shù)據(jù)集上保持了卓越的表現(xiàn)，且在泛化數(shù)據(jù)集上相比次優(yōu)方法，分別在WorldView-II和GaoFen-2數(shù)據(jù)集上取得了1.46 dB和4.97 dB的峰值信噪比(PSNR)提升。此外，視覺效果的對(duì)比驗(yàn)證了該框架在域無關(guān)信息提取和學(xué)習(xí)上的有效性，能夠在數(shù)據(jù)分布存在顯著差異的情況下，保持穩(wěn)定的性能。這進(jìn)一步證明了該方法在解決遙感圖像全色銳化泛化問題中的重要價(jià)值。
 

　　該項(xiàng)工作得到了安徽省自然科學(xué)基金項(xiàng)目的資助。張潔副研究員和碩士生曹可為論文的共同第一作者。張俊、周滿為論文的共同通訊作者。
 

圖 1 基于頻域解耦的遙感圖像全色銳化域無關(guān)特征學(xué)習(xí)網(wǎng)絡(luò)
 

圖 2 可學(xué)習(xí)的高頻濾波模塊
 

表1在WorldView-III數(shù)據(jù)集上訓(xùn)練的跨數(shù)據(jù)集實(shí)驗(yàn)
 

圖 4 WorldView-II 數(shù)據(jù)集上的泛化實(shí)驗(yàn)結(jié)果