請用此 Handle URI 來引用此文件:
http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/95198
標題: | 不完整標註之跨模態分割模型及其在醫療影像之分析應用 Cross-modality Segmentation Model with Incomplete Annotations for Multiorgan Medical Image Analysis |
作者: | 洪振倫 Zhen-Lun Hong |
指導教授: | 藍俊宏 Jakey Blue |
關鍵字: | 醫療影像分析,領域自適應,不完整標註,跨模態,原型對比學習, Medical Image Analysis,Domain Adaptation,Incomplete Annotations,Cross-Modality,Prototypical Contrastive Learning, |
出版年 : | 2024 |
學位: | 碩士 |
摘要: | 醫療影像分割在臨床實踐中是一件相當重要的任務。相較於傳統的電腦視覺技術,透過深度神經網路進行醫療影像分割,我們可以得到更為精準的分割結果。然而,醫療影像資料集仰賴專業人工標註,因此在醫學領域中獲取大量標註的數據集仍然具有相當的挑戰性。為了提升資料的易得性,過去方法透過加入相同模態的不完整標註資料進行訓練,或者其他模態完整標記的資料利用領域自適應 (Domain Adaptation) 來補充原有資料的資訊。若能同時考慮二項限制,則更能資加資料來源的豐富度,而在現有文獻中這個問題依然是研究領域的缺口。本研究因此提出了一種使用不完整標註資料集進行跨模態分割的新架構,這些資料集來自電腦斷層掃描 (CT) 和核磁共振成像 (MRI)。該框架同時解決了兩個關鍵挑戰:模態之間的領域遷移 (Domain Shift) 和目標器官/組織的不完整標註。
本研究介紹了一種兩階段的方法:首先在第一階段透過 CycleGAN 生成另一模態的影像來進行像素級別的對齊,在第二階段則使用原型對比學習 (Prototypical Contrastive Learning) 再次進行特徵級別的對齊。所提出的原型域自適應噪聲對比估計 (Prototypical Domain Adaptive Noise Contrastive Estimation, ProdaNCE) 擴展了傳統的對比學習,適用於領域自適應和部分標註場景。它通過將來自另一模態的原型視為正樣本,而將來自同一模態的原型視為負樣本,鼓勵神經網路對跨模態的標註和未標註類別的表示進行對齊。這種新穎的方法使神經網路能夠學習與領域無關的特徵表示,並利用每種模態的部分標註,實現全面的多器官分割。 我們將提出的架構在一個私有的腹部 CT 和 MRI 資料集上進行評估。該資料集的任務是用於分割皮下脂肪、骨骼肌和內臟脂肪。結果顯示,與現有的領域自適應方法相比,特別是在未標註器官方面,性能更為優越。所提出的方法優於 CycleGAN、CyCADA 和 AdaptSegNet 基準模型,展示了 ProdaNCE 損失在處理領域遷移和不完整標註方面的有效性。 本研究旨在提出了一個具有前景的研究方向,即利用跨模態的不完整標註醫學影像集來產生完整標註的影像分割。通過更有效地利用現有的標註數據,我們的架構減少在臨床實踐中部署深度學習分割模型的標註負擔,為更便捷和精確的醫療影像分析鋪平道路。 Medical image segmentation is a crucial task in clinical practice, but obtaining large annotated datasets across multiple imaging modalities remains challenging. This thesis proposes a novel framework for cross-modality segmentation using partially labeled datasets from computed tomography (CT) and magnetic resonance imaging (MRI). The framework addresses two key challenges simultaneously: domain shift between modalities and incomplete annotations for target organs/tissues. A two-stage approach is introduced, combining pixel-level alignment via CycleGAN with feature-level alignment using prototypical contrastive learning. The proposed Prototypical Domain Adaptive Noise Contrastive Estimation (ProdaNCE) loss extends traditional contrastive learning by adapting it for domain adaptation and partial labeling scenarios. It encourages the network to align representations of both labeled and unlabeled classes across modalities by treating prototypes from the other modality as positive samples and prototypes from the same modality as negative samples. This novel approach enables the network to learn domain-agnostic feature representations and leverage partial labels from each modality to achieve comprehensive multi-organ segmentation. The framework is evaluated on a private abdominal CT and MRI dataset for segmenting subcutaneous adipose tissue, skeletal muscle, and visceral adipose tissue. Results demonstrate superior performance compared to existing domain adaptation methods, especially for unlabeled organs. The proposed approach outperforms CycleGAN, CyCADA, and AdaptSegNet baselines, showcasing the effectiveness of the ProdaNCE loss in handling both domain shift and incomplete annotations. This work provides a promising direction for utilizing heterogeneous partially labeled medical imaging datasets across modalities. By enabling more effective use of existing annotated data, the framework potentially reduces the annotation burden for deploying deep learning segmentation models in clinical practice, paving the way for more accessible and accurate medical image analysis. |
URI: | http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/95198 |
DOI: | 10.6342/NTU202404141 |
全文授權: | 同意授權(限校園內公開) |
顯示於系所單位: | 統計碩士學位學程 |
文件中的檔案:
檔案 | 大小 | 格式 | |
---|---|---|---|
ntu-112-2.pdf 授權僅限NTU校內IP使用(校園外請利用VPN校外連線服務) | 9.92 MB | Adobe PDF | 檢視/開啟 |
系統中的文件,除了特別指名其著作權條款之外,均受到著作權保護,並且保留所有的權利。