【儀表網 研發快訊】近日，The Innovation(IF=33.2)在線發表了武漢大學遙感信息工程學院張永軍/李彥勝教授團隊最新評論文章。論文題目為“Unleashing the potential of remote sensing foundation models via bridging data and computility islands”(打破數據與算力孤島，釋放遙感基礎大模型潛力)。李彥勝教授為論文第一作者，張永軍教授、螞蟻集團楊銘研究員為論文通訊作者。合作者包括武漢大學、俄羅斯科學院、螞蟻集團、上海人工智能實驗室、美國普渡大學等國內外知名機構學者和研究生。
 

　　在當前的遙感領域，數據與算力的分散化問題較為突出，這受到隱私保護、存儲限制、行業競爭以及地理信息安全等多方面因素的影響。為應對這一挑戰，研究團隊著眼于分布式協同預訓練的新模式，重點圍繞遙感基礎大模型的協同訓練與推理環節展開研究，旨在探索如何有效整合分散的遙感數據和分布式計算資源，并對協同式架構釋放遙感基礎大模型潛力的可行性進行了分析。在此基礎上，研究團隊呼吁政府數據中心、企業機構以及高校研究團隊等各方力量，在確保隱私保護的前提下，共同參與遙感基礎大模型建設，并共享其時空智能服務，以構建全球協作網絡，充分盤活孤島式的遙感數據與算力資源。
 

圖1 打破遙感數據與算力孤島，邁向地球觀測通用智能
 

　　團隊構建了全球首個顧及隱私保護的遙感基礎模型分布式協同預訓練框架FedSense，可以靈活支持基于對比學習和掩碼重建的自監督學習。為了解決協同預訓練面臨的遙感數據異質性與高通信開銷引發的惡性循環挑戰，團隊提出了一種聯邦互指導學習方法。在該方法中，服務器與客戶端進行雙向互相指導，服務器端引導客戶端進行正交條件下的自穩定參數更新，客戶端引導服務器進行低比特通信下的知識注入。基于FedSense，團隊實現了10個參與機構在百萬量級遙感影像上開展遙感基礎模型高效協同預訓練。實驗結果表明，多個參與機構通過FedSense開展遙感基礎模型的協同預訓練，可以實現機構之間的高效合作共贏。基于FedSense協同預訓練的遙感基礎模型相較于基線方法在場景分類、目標檢測、語義分割、變化檢測等8個遙感領域典型的下游任務數據集上，取得了顯著的性能提升。在將通信開銷壓縮至全精度傳輸的1/32時，FedSense仍然能夠保持良好的優化性能，并且隨著參與方數量的不斷增多，模型性能可以實現穩步提升。
 

　　圖2 遙感基礎模型分布式協同預訓練框架FedSense與多機構遙感預訓練數據集示意圖

 

　　展望未來，團隊將致力于研究多模態遙感基礎模型的安全可信多方協同預訓練技術，響應國家發布的《可信數據空間發展行動計劃》，支持建設可信可管、互聯互通、價值共創的遙感數據空間，助力邁向地球觀測通用智能。