ISTBI
作為最重要的模式生物之一，小鼠在神經科學、腫瘤學和藥學等領域發揮著不可替代的作用，是實現基礎研究到臨床應用轉化的重要橋樑。由於小鼠和人類大腦在進化上具有保守性，小鼠大腦已被證明是理解人類大腦的重要基石之一。基於磁共振成像（MRI）資料，對小鼠大腦精細結構進行準確分割是理解小鼠大腦腦區功能的重要分析步驟。然而，迄今為止這仍是一項具有挑戰性的任務。首先，腦結構的精確分割通常需要高解析度的多模態MRI資料，但採集多模態資料的時間成本往往過高。再者，從模型設計上如何高效融合多模態MRI資訊也面臨著方法學上的挑戰。其次，目前尚缺乏用於小鼠腦結構自動分割和標註的工具箱。
為解決這一問題，張孝勇課題組提出了一種新型深度學習框架，MouseGAN++（圖1），完成“合成+分割”的任務。模型利用屬性空間和個體空間的對比損失來度量樣本間的相似度（圖2），同時使對抗學習和對比學習在訓練過程中同步交替進行，以更好地解耦出腦結構語義特徵，使MRI在模態生成前後能保持結構一致性，進而促成高效的多模態影象融合來實現小鼠大腦結構的精細分割。
具體來說，針對多模態MRI自身的性質，我們將所有模態的影象分別解耦到屬性空間和內容空間。現有的解耦方法通常使用高斯先驗來約束屬性隱空間的分佈，但若用於多模態資料，可能會面臨來自不同模態的屬性特徵之間解耦不充分的情況。為了克服這一問題，本文提出一種新的歸納偏置，即利用對比學習先驗來指導網路學習屬性空間的分佈。
同時，考慮到腦結構的解剖特點（對稱的左右腦半球的解剖結構應該具有相似的特徵），若使用patch-level的訓練方式，就會使網路在內容空間裡區分它們，從而導致假陰性結果（錯誤的負樣本對）。因此，本文采用軸位（slice-level）的訓練方式以納入全域性語義資訊。此外，對比學習通常需要設計額外的pretext-task進行預訓練，pretext-task的設計質量以及它與下游任務之間的差距也會影響到模型的最終效果。
圖1：
MouseGAN++模型圖。給定任意模態作為網路的輸入，（a）模態生成模組：訓練基於特徵解耦和對比學習表徵來合成所有模態。（b）重用內容編碼器並將模態生成模組作為輔助網路插補缺失模態。
針對以上問題，MouseGAN++包含一個模態生成模組，我們在該模組引入兩個新穎的對比損失函式，可將多模態影象特徵投射到共享內容隱空間（用來編碼模態無關的腦結構特徵），以及模態相關的屬性空間。隨後，將內容隱空間中的向量與其他模態的屬性特徵向量相結合，以插補生成其他模態的影象。內容對比損失可以迫使網路在影象生成過程中避免混淆結構資訊。同時，在對抗性訓練期間重用屬性和內容編碼器，以同步最佳化對抗損失和對比學習損失。共享的內容空間還有助於分割模組中的解碼器訓練。此外，使用該模型插補模態也可以擴增訓練資料集，使網路能夠在多模態資料裡學習模態無關的結構語義特徵，從而增強多模態融合的效果。
圖2：
透過對比學習進行屬性判別和內容判別。（左）對於屬性空間，來自同一模態的樣本被定義為正樣本，在隱空間中相互拉近。不同模態的樣本為負樣本，相互推遠。（右）來自同一個體的樣本即使被變換了模態，都被視為正樣本，它們的結構資訊在內容隱空間內應保持高度一致。而相同模態下的不同個體之間則被視為負樣本。
表1：
MouseGAN++
模型與State-of-the-art方法的效能對比
如表1所示，與當前最先進的9種相關方法相比，以T1w和T2w為測試模態，平均DICE係數分別達到87。9%和90。0%，效能提高了約 +10%。上述圖表及文中實驗結果表明，MouseGAN++在生成和分割任務上都實現了顯著的效能提升。本深度學習框架的原始碼已開源：https：//github。com/yu02019 。
在未來的工作中，一個有前景的研究方向是將我們開發的大腦提取工具（BEN）與MouseGAN++整合，形成一個魯棒的、高通量的、端到端的神經影像處理流程。
ISTBI
復旦大學類腦智慧科學與技術研究院張孝勇青年研究員為文章的通訊作者，德國亥姆霍茲慕尼黑研究中心彭廷瑩研究員為共同通訊作者，復旦大學類腦智慧科學與技術研究院馮建峰教授對本文做出重要指導。復旦大學類腦智慧科學與技術研究院博士研究生餘子奇為第一作者。
該研究得到了國家自然科學基金委面上專案、重大專案及上海市“腦與類腦智慧基礎轉化應用研究”市級重大專項等的經費支援。
原文連結：
https：//ieeexplore。ieee。org/document/9966838
參考文獻：
Yu， Ziqi， et al。 “BEN： a generalizable Brain Extraction Net for multimodal MRI data from rodents， nonhuman primates， and humans。” bioRxiv （2022）。（elife 接收）
ISTBI
張孝勇，復旦大學類腦智慧科學與技術研究院青年研究員，中國圖象圖形學會腦圖譜專委會委員，中華放射學會國際交流工作組委員，醫學影象計算青年研討會委員。
研究方向主要聚焦在大腦的磁共振成像、人工智慧分析及分子影像研究。在磁共振代謝成像技術領域做出了若干原創性貢獻。目前（2022。12）已發表學術論文50餘篇，其中以通訊作者/第一作者發表學術論文30餘篇，代表性成果發表在Advanced Science，IEEE Transactions on Medical Imaging，Cancer Research，Cell Reports等權威學術期刊。
研究成果曾被國際醫學磁共振學會（ISMRM）以研究亮點報道。作為課題負責人主持多項國家自然科學基金專案及上海市專案，並以研究骨幹參與國家自然科學基金重大專案、整合專案等。
釋出於：陝西
