本發(fā)明涉及醫(yī)學圖像自動識別，尤其是涉及一種生成式胸部x射線圖像廣義零樣本識別方法及系統(tǒng)。

背景技術(shù)：

1、醫(yī)學圖像的診斷識別是醫(yī)學圖像分析的基礎，是計算機輔助診斷（computer-aided?diagnosis，cad）的關鍵任務。深度學習的進步使cad在醫(yī)學圖像識別任務中實現(xiàn)了接近人類水平的準確性，如乳腺癌識別、皮膚病變識別等。然而，深度學習模型的識別精度受到大規(guī)模標注數(shù)據(jù)的限制。但是，醫(yī)學圖像數(shù)據(jù)的標注不僅繁瑣，而且需要專業(yè)的醫(yī)學知識，使得標注數(shù)據(jù)的獲取成本很高。此外，一些罕見疾病（如胸腺瘤等）只能通過醫(yī)學文獻進行文字描述，實際樣本極難獲得。對于新出現(xiàn)的疾病，識別更具挑戰(zhàn)性。另一方面，由于深度學習模型在訓練階段缺乏未見類樣本，模型傾向于將未見樣本識別為可見類，從而導致疾病的誤診。因此，開發(fā)能夠識別未見類樣本的深度學習模型對于臨床部署和應用至關重要。

2、零樣本學習（zero-shot?learning，zsl）旨在利用語義信息從可見類的可用特征中學習未見類的結(jié)構(gòu)表示。在現(xiàn)實場景中往往需要更一般的是設置，測試階段能同時準確識別出可見類和未見類，即廣義零樣本學習（generalized?zero-shot?learning，gzsl）。目前，gzsl在自然圖像的單標簽識別領域已取得了較為顯著的成功，但在醫(yī)學圖像識別領域的應用仍處于探索階段。由于醫(yī)學影像數(shù)據(jù)普遍存在樣本不均衡、新病癥持續(xù)出現(xiàn)，且部分圖像病理區(qū)域較模糊等問題，導致現(xiàn)有的基于廣義零樣本學習的醫(yī)學圖像識別模型，嚴重偏向于可見類。盡管生成式方法在一定程度上緩解了該類問題，但傳統(tǒng)生成式模型在醫(yī)學領域應用中存在固有局限，如在醫(yī)學圖像零樣本生成中，生成器易過擬合于訓練類別，即可見類，導致生成的偽樣本高度相關，多樣性不足，而且部分醫(yī)學圖像（x射線圖像、超聲圖像等）對比度較低，生成器難以準確重建出細微的病理特征，導致生成的偽樣本結(jié)構(gòu)失真，嚴重制約其在臨床診斷中的實用價值。

3、近期，擴散模型在圖像生成領域表現(xiàn)優(yōu)異，但其迭代去噪機制需耗費大量計算資源。為了提高擴散模型的訓練效率同時保證偽樣本的生成質(zhì)量，本發(fā)明引用擴散生成模型diffusion-gan為醫(yī)學圖像廣義零樣本識別的生成網(wǎng)絡。然而，與自然圖像的識別方法相比，開發(fā)用于胸部x射線圖像識別的屬性向量是一項非常復雜的任務。不僅需要高度專業(yè)化的醫(yī)療專業(yè)人員投入大量時間標注，而且還需要大量實驗驗證其有效性，這與旨在提高醫(yī)療服務效率的基本目標相矛盾。

4、針對醫(yī)學圖像廣義零樣本識別易偏向于可見類，且醫(yī)學圖像通常存在病理區(qū)域模糊，導致識別精度不理想的問題，提出局部增強的生成式胸部x射線圖像廣義零樣本識別方法，以緩解胸部x射線圖像在廣義零樣本識別時，嚴重偏向于可見類的問題；同時，本發(fā)明還提出了病理區(qū)域增強模塊，利用病理相關的語義知識作為指導，通過注意力機制對病理區(qū)域進行局部增強，以提高生成偽樣本的質(zhì)量，并提升最終的識別效果。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種生成式胸部x射線圖像廣義零樣本識別方法及系統(tǒng)，通過融入病理區(qū)域增強模塊，增強病理區(qū)域的視覺特征，同時將擴散生成模型引入到廣義零樣本識別，以緩解現(xiàn)有技術(shù)在廣義零樣本識別時，嚴重偏向于可見類的問題，有效提高胸部x射線圖像的病灶自動識別精度，輔助醫(yī)生更快地做出決策，有助于早期發(fā)現(xiàn)和干預胸部疾病。

2、為實現(xiàn)上述目的，本發(fā)明提供了一種生成式胸部x射線圖像廣義零樣本識別方法，包括以下步驟：

3、s1、獲取多個類別的胸部x射線圖像數(shù)據(jù)集并進行預處理工作，按照比例數(shù)據(jù)集劃分為訓練集、驗證集與測試集；

4、s2、構(gòu)建局部增強的生成式胸部x射線圖像廣義零樣本識別模型，識別模型主要包括兩個核心模塊，分別為病理區(qū)域局部增強模塊、擴散生成模塊，其中擴散模塊包括前向擴散過程和反向去噪過程；

5、s3、基于劃分的訓練集對生成式胸部x射線圖像廣義零樣本識別模型進行訓練，計算胸部x射線圖像廣義零樣本識別模型的損失函數(shù)，使用adam優(yōu)化器更新參數(shù)，并在訓練過程中保存模型最優(yōu)時的參數(shù)；

6、s4、使用訓練好的生成式胸部x射線圖像廣義零樣本識別模型對測試集數(shù)據(jù)進行測試。

7、進一步地，s2中，病理區(qū)域局部增強模塊，包括利用自注意力機制實現(xiàn)病理區(qū)域視覺特征之間的相互學習，得到全局交互特征；利用標簽對應的病理報告生成查詢向量，對相應區(qū)域的全局交互特征進行視覺增強；將含有語義信息的病理報告與視覺圖像進行跨模態(tài)特征融合，進而得到各標簽對應增強后的視覺特征，實現(xiàn)病理區(qū)域的增強。

8、進一步地，s2中，反向去噪過程采用雙判別器進行協(xié)同訓練，并通過知識蒸餾損失促進雙判別器的相互學習；其中，雙判別器包括對抗判別器和擴散判別器。

9、進一步地，對抗判別器利用對抗損失函數(shù)進行訓練，如下：

10、；

11、其中，；

12、式中，為對抗判別器，為相應的權(quán)重，為大于零的懲罰項系數(shù)，為生成器生成的偽視覺特征，為初始的真實視覺特征，表示病理報告的語義信息。

13、進一步地，擴散判別器的訓練通過擴散損失來約束，如下：

14、；

15、其中，；

16、式中，為擴散判別器，為大于零的懲罰項系數(shù)，為前向擴散過程處理后帶噪聲的真實特征，為擴散時間步長，為擴散時間步長時帶噪聲的真實特征。

17、進一步地，知識蒸餾損失用于約束對抗判別器和擴散判別器的訓練，如下：

18、；

19、式中，為知識蒸餾損失。

20、為實施一種生成式胸部x射線圖像廣義零樣本識別方法，本發(fā)明還提供了一種生成式胸部x射線圖像廣義零樣本識別系統(tǒng)，包括病理區(qū)域增強模塊和擴散生成模塊；

21、病理區(qū)域增強模塊包括自注意力機制，用于實現(xiàn)所有視覺特征之間的相互學習，得到全局交互特征；交叉注意力機制，根據(jù)標簽對應的病理報告，對相應區(qū)域特征進行視覺增強；融合模塊及前向傳播模塊，用于多模態(tài)數(shù)據(jù)的特征融合，獲取各標簽對應增強后的視覺特征；

22、擴散生成模塊包括前向擴散過程和反向去噪生成過程：前向擴散過程基于擴散機制，采用前向擴散噪聲處理，逐步向干凈數(shù)據(jù)中添加噪聲；去噪生成過程用于反向去噪生成操作，設置有生成器和判別器，且判別器包括擴散判別器和對抗判別器，兩個判別器通過知識蒸餾損失相互約束，協(xié)同訓練。

23、因此，本發(fā)明采用上述一種生成式胸部x射線圖像廣義零樣本識別方法及系統(tǒng)，具有以下技術(shù)效果：

24、（1）本發(fā)明在生成模型之前引入局部增強模塊，通過跨模態(tài)融合病理描述和病理圖像，基于注意力機制對病理區(qū)域進行增強，使得生成的偽視覺特征能突顯出病理區(qū)域，從而提高模型的識別精度。

25、（2）本發(fā)明引入擴散生成模塊，通過雙判別器的相互學習，生成高質(zhì)量且多樣性的偽視覺特征，增強了模型的泛化性能，有效緩解模型在廣義零樣本識別對可見類的過擬合問題。

26、下面通過附圖和實施例，對本發(fā)明的技術(shù)方案做進一步的詳細描述。