請用此 Handle URI 來引用此文件：
http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/82103完整後設資料紀錄
| DC 欄位 | 值 | 語言 |
|---|---|---|
| dc.contributor.advisor | 藍俊宏(Jakey BLUE) | |
| dc.contributor.author | Yao-Cheng Yang | en |
| dc.contributor.author | 楊曜丞 | zh_TW |
| dc.date.accessioned | 2022-11-25T05:35:54Z | - |
| dc.date.available | 2027-02-12 | |
| dc.date.copyright | 2022-02-21 | |
| dc.date.issued | 2022 | |
| dc.date.submitted | 2022-02-12 | |
| dc.identifier.citation | Caselles, V., Catté, F., Coll, T., Dibos, F. (1993). A geometric model for active contours in image processing. Numerische mathematik, 66(1), 1-31. Chan, T. F., Vese, L. A. (2001). Active contours without edges. IEEE Transactions on image processing, 10(2), 266-277. Chartsias, A., Joyce, T., Dharmakumar, R., Tsaftaris, S. A. (2017, September). Adversarial image synthesis for unpaired multi-modal cardiac data. In International workshop on simulation and synthesis in medical imaging (pp. 3-13). Springer, Cham. Chen, L. C., Papandreou, G., Schroff, F., Adam, H. (2017). Rethinking atrous convolution for semantic image segmentation. arXiv preprint arXiv:1706.05587. Chen, L. C., Zhu, Y., Papandreou, G., Schroff, F., Adam, H. (2018). Encoder-decoder with atrous separable convolution for semantic image segmentation. In Proceedings of the European conference on computer vision (ECCV) (pp. 801-818). Cheng, G., Ji, H., Tian, Y. (2020, August). Walking on two legs: learning image segmentation with noisy labels. In Conference on Uncertainty in Artificial Intelligence (pp. 330-339). PMLR. Engin, D., Genç, A., Kemal Ekenel, H. (2018). Cycle-dehaze: Enhanced cyclegan for single image dehazing. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (pp. 825-833). Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., ... Bengio, Y. (2014). Generative adversarial nets. Advances in neural information processing systems, 27. He, K., Zhang, X., Ren, S., Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770-778). Heller, N., Dean, J., Papanikolopoulos, N. (2018). Imperfect segmentation labels: How much do they matter?. In Intravascular Imaging and Computer Assisted Stenting and Large-Scale Annotation of Biomedical Data and Expert Label Synthesis (pp. 112-120). Springer, Cham. Jadon, S. (2020, October). A survey of loss functions for semantic segmentation. In 2020 IEEE Conference on Computational Intelligence in Bioinformatics and Computational Biology (CIBCB) (pp. 1-7). IEEE. Jiang, J., Hu, Y. C., Tyagi, N., Zhang, P., Rimner, A., Mageras, G. S., ... Veeraraghavan, H. (2018, September). Tumor-aware, adversarial domain adaptation from ct to mri for lung cancer segmentation. In International Conference on Medical Image Computing and Computer-Assisted Intervention (pp. 777-785). Springer, Cham. Johnson, J., Alahi, A., Fei-Fei, L. (2016, October). Perceptual losses for real-time style transfer and super-resolution. In European conference on computer vision (pp. 694-711). Springer, Cham. Kass, M., Witkin, A., Terzopoulos, D. (1988). Snakes: Active contour models. International journal of computer vision, 1(4), 321-331. Larue, R. T., Defraene, G., De Ruysscher, D., Lambin, P., Van Elmpt, W. (2017). Quantitative radiomics studies for tissue characterization: a review of technology and methodological procedures. The British journal of radiology, 90(1070), 20160665. LeCun, Y., Bottou, L., Bengio, Y., Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278-2324. Li, C., Kao, C. Y., Gore, J. C., Ding, Z. (2008). Minimization of region-scalable fitting energy for image segmentation. IEEE transactions on image processing, 17(10), 1940-1949. Li, Q., Yu, Z., Wang, Y., Zheng, H. (2020). TumorGAN: A multi-modal data augmentation framework for brain tumor segmentation. Sensors, 20(15), 4203. Liu, Y., Meng, L., Zhong, J. (2021). MAGAN: Mask Attention Generative Adversarial Network for Liver Tumor CT Image Synthesis. Journal of Healthcare Engineering, 2021. Long, J., Shelhamer, E., Darrell, T. (2015). Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 3431-3440). Mirza, M., Osindero, S. (2014). Conditional generative adversarial nets. arXiv preprint arXiv:1411.1784. Miyato, T., Kataoka, T., Koyama, M., Yoshida, Y. (2018). Spectral normalization for generative adversarial networks. arXiv preprint arXiv:1802.05957. Niu, S., Chen, Q., De Sisternes, L., Ji, Z., Zhou, Z., Rubin, D. L. (2017). Robust noise region-based active contour model via local similarity factor for image segmentation. Pattern Recognition, 61, 104-119. Roberts, L. G. (1963). Machine perception of three-dimensional solids (Doctoral dissertation, Massachusetts Institute of Technology). Ronneberger, O., Fischer, P., Brox, T. (2015, October). U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention (pp. 234-241). Springer, Cham. Shrivastava, A., Pfister, T., Tuzel, O., Susskind, J., Wang, W., Webb, R. (2017). Learning from simulated and unsupervised images through adversarial training. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 2107-2116). Tan, M., Le, Q. (2019, May). Efficientnet: Rethinking model scaling for convolutional neural networks. In International Conference on Machine Learning (pp. 6105-6114). PMLR. Van Griethuysen, J. J., Fedorov, A., Parmar, C., Hosny, A., Aucoin, N., Narayan, V., ... Aerts, H. J. (2017). Computational radiomics system to decode the radiographic phenotype. Cancer research, 77(21), e104-e107. Wang, C., Xu, C., Wang, C., Tao, D. (2018). Perceptual adversarial networks for image-to-image transformation. IEEE Transactions on Image Processing, 27(8), 4066-4079. Welander, P., Karlsson, S., Eklund, A. (2018). Generative adversarial networks for image-to-image translation on multi-contrast mr images-a comparison of cyclegan and unit. arXiv preprint arXiv:1806.07777. Zhao, S., Wang, Y., Yang, Z., Cai, D. (2019). Region mutual information loss for semantic segmentation. arXiv preprint arXiv:1910.12037. Zhou, Z., Siddiquee, M. M. R., Tajbakhsh, N., Liang, J. (2018). Unet++: A nested u-net architecture for medical image segmentation. In Deep learning in medical image analysis and multimodal learning for clinical decision support (pp. 3-11). Springer, Cham. Zhu, J. Y., Park, T., Isola, P., Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. In Proceedings of the IEEE international conference on computer vision (pp. 2223-2232). Zwanenburg, A., Vallières, M., Abdalah, M. A., Aerts, H. J., Andrearczyk, V., Apte, A., ... Löck, S. (2020). The image biomarker standardization initiative: standardized quantitative radiomics for high-throughput image-based phenotyping. Radiology, 295(2), 328-338. 鍾偉志. (2020). 整合主動輪廓模型之深度卷積網路以辨識遮罩不完全精準之醫學影像. 臺灣大學工業工程學研究所學位論文, 1-72. | |
| dc.identifier.uri | http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/82103 | - |
| dc.description.abstract | 肝癌是全球盛行率高的疾病，臨床上常藉由分析醫學影像來診斷肝臟的病變情形，然而，傳統上醫學影像是醫師經由專業知識肉眼判斷臟器的位置，除了需花費許多時間與精力閱片外，亦可能產生誤判、或標準不一致。隨著電腦視覺與深度學習技術的發展，影像分割被廣泛應用於醫學影像的處理上，因此倘若能在臨床上即時地進行肝臟與腫瘤的影像分割，可以有效協助醫師進行病患術前的評估。因此，本論文旨在建立肝腫瘤的分割模型，利用卷積神經網路搭建基礎架構，設計二階段式分割流程，首先判斷肝臟的區域，再接著由肝臟的範圍來分割出腫瘤，藉此自動化圈選腫瘤位置。 醫學影像具有兩大特性，一為訓練遮罩的不精確，一般而言，肝臟與腫瘤的圈選是經由醫師判斷後手工畫記，常有邊界不完整的問題，若以此人工遮罩作為訓練資料將導致模型產生學習偏誤，無法有效並正確地分割目標臟器。為此，本研究先對不精準遮罩進行修正，利用主動輪廓模型使遮罩更貼合臟器邊緣。第二個特性是醫學影像的稀少性，醫學影像取得不易，尤其腫瘤切片資料更是高度不平衡，過少的訓練資料易使模型無法有效學習圖像特徵。因此，本研究發展基於CycleGAN的模態轉換技術，將公開的大量CT影像轉換為目標MR，並保留原始CT影像中的腫瘤區域形狀，達到資料擴充的目的，提升腫瘤分割之品質。 過往在衡量模型成效時，多以比對模型預測值與真實答案間的差異，然而當模型應用於實際場域時，面對沒有正確答案的測試資料，往往無法進行評估。為解決此問題，本研究設計一套切片審查機制，用以預測分割模型的分割表現，為分割模型的輸出提供一「信心程度」的評比，判斷模型的預測是否可靠，篩選出準確度低的切片交由醫師做進階的檢驗工作。綜合言之，本研究提出之二階段腫瘤分割結果於Dice係數達到88%，IoU有79%的準確率，優於僅用原始MR資料之訓練結果。 | zh_TW |
| dc.description.provenance | Made available in DSpace on 2022-11-25T05:35:54Z (GMT). No. of bitstreams: 1 U0001-1002202204555100.pdf: 7290282 bytes, checksum: f3dd908867b7c611f57427acbd0ba2cd (MD5) Previous issue date: 2022 | en |
| dc.description.tableofcontents | "目錄 謝辭 i 中文摘要 ii Abstract iv 目錄 vi 圖目錄 ix 表目錄 xiii 第一章 緒論 1 1.1 研究背景 1 1.2 研究動機與目的 3 1.3 研究架構 6 第二章 文獻回顧 7 2.1 不精準遮罩之處理 8 2.2 主動輪廓模型 10 2.2.1 傳統主動輪廓模型及其演變 10 2.2.2 適合醫學影像遮罩修正之主動輪廓模型 16 2.3 影像生成模型 18 2.3.1 影像風格轉換 18 2.3.2 影像合成 21 2.4 深度學習於影像分割 22 2.4.1 卷積神經網路 22 2.4.2 全卷積網路 22 2.4.3 U-Net 23 2.4.4 編碼器 – EfficientNet 23 2.4.5 解碼器 – DeepLabv3 24 2.5 分割模型之損失函數 26 2.6 影像組學之特徵提取 28 第三章 腫瘤分割模型與分割遮罩之準確率預測設計 30 3.1 改良CycleGAN以進行模態轉換擴增資料 34 3.1.1 基於腫瘤區域保留之CycleGAN目標函式建構 34 3.1.2 CycleGAN模型訓練 37 3.2 二階段式分割模型 39 3.3 分割模型之準確率預測 42 3.3.1 預測遮罩之特徵萃取 42 3.3.2 腫瘤離肝臟邊界之距離計算 44 3.3.3 腫瘤存在與否之分類判斷 45 3.3.4 IoU預測之迴歸模型 47 3.3.5 切片審查機制 49 第四章 案例研討 52 4.1 資料集說明 52 4.2 資料前處理 56 4.3 主動輪廓模型之遮罩修正成效 57 4.4 模態轉換資料擴增成效 61 4.4.1 LiTS CT資料集 61 4.4.2 基於腫瘤區域保留之CycleGAN成效分析 62 4.5 二階段式分割模型成效 69 4.5.1 肝臟分割結果 69 4.5.2 肝腫瘤分割結果 73 4.5.3 分割模型綜合成效分析 78 4.6 分割遮罩之準確率預測成效 81 4.6.1 利用影像組學於分割遮罩之特徵提取結果 81 4.6.2 腫瘤分類模型結果 82 4.6.3 IoU預測迴歸模型結果 84 4.6.4 切片審查機制之成效 86 第五章 結論與未來展望 94 5.1 研究結論 94 5.2 未來展望 95 參考文獻 98 圖目錄 圖 1 1 Radiomics分析流程 (摘自Larue et al., 2017) 4 圖 1 2 論文架構圖 6 圖 2 1 文獻回顧架構圖 8 圖 2 2 雜訊遮罩種類 (摘自Heller et al., 2018)。由左至右分別為真實標記、自然擾動、不連續之鋸齒擾動，以及隨機擾動 9 圖 2 3 基於GAN之不精準遮罩修正模型 (摘自Cheng et al., 2020) 9 圖 2 4 水平集表示方式 11 圖 2 5局部相似性因子示意圖 15 圖 2 6 區域平均亮度計算範圍比較。(a) C-V模型之全域範圍；(b) 鍾偉志 (2020) 之局部區域範圍 16 圖 2 7 CycleGAN模型 (摘自Zhu et al., 2017)。(a) CycleGAN整體架構；(b) 前向來回一致損失；(c) 後向來回一致損失 19 圖 2 8 傳統感知損失概念圖 (摘自Johnson et al., 2016) 20 圖 2 9 心肌影像CT轉MR之模型架構 (摘自Chartsias et al., 2017) 21 圖 2 10 U-net架構圖(摘自Ronneberger et al., 2015) 23 圖 2 11 Efficientnet性能比較 (摘自Tan Le, 2019) 24 圖 2 12 ASPP串聯結構 (摘自Chen et al., 2017) 25 圖 2 13 ASPP並聯結構 (摘自Chen et al., 2017) 25 圖 2 14 DeepLabv3+架構 (摘自Chen et al., 2018) 25 圖 2 15 RMI計算概念 (摘自Zhao et al., 2019) 27 圖 2 16 影像組學特徵提取流程 (摘自Zwanenburg et al., 2020) 28 圖 3 1 研究方法流程圖 33 圖 3 2 本研究於CycleGAN之感知損失 35 圖 3 3 本研究之語意一致損失 36 圖 3 4 本研究之改良 CycleGAN架構 38 圖 3 5 二階段式分割模型 39 圖 3 6 二階段式分割模型之各階段輸入圖像形式。(a) 肝臟分割模型之MRI圖像輸入；(b) 腫瘤分割模型輸入之肝臟ROI 41 圖 3 7 本研究之影像組學分析步驟 44 圖 3 8 腫瘤離肝臟邊界的距離計算方法。(a) 病人1切片24；(b) 病人6切片23 45 圖 3 9 混淆矩陣 46 圖 3 10 切片審查機制流程 49 圖 4 1 資料集中不同型態的肝臟與腫瘤。(a) 肝硬化；(b) 有蒂腫瘤； 53 圖 4 2 原始MR資料中肝臟遮罩不包含腫瘤區域之切片示意圖。第一行為原始MR影像，第二行為原始肝臟遮罩，第三行為原始腫瘤遮罩。列顯示不同病患之切片 54 圖 4 3 影像前處理結果。(a) 原始MR影像；(b) 前處理後之圖像 56 圖 4 4 主動輪廓模型之肝臟遮罩修正成效—個案一 (病人3切片20)。(a) 原始不精準遮罩及其區域檢視；(b) 修正後遮罩及其區域檢視 58 圖 4 5 主動輪廓模型之肝臟遮罩修正成效—個案二 (病人66切片27) 。(a) 原始不精準遮罩及其區域檢視；(b) 修正後遮罩及其區域檢視 59 圖 4 6主動輪廓模型之腫瘤遮罩修正成效。第一行為肝臟ROI影像，第二行為原始腫瘤遮罩，第三行為修正後腫瘤遮罩。列顯示不同病患之切片 60 圖 4 7 LiTS資料集之前處理示意圖。(a) 原始CT影像；(b) 亨氏單位限制後之影像；(c) 肝臟ROI裁切 62 圖 4 8 應用原始CycleGAN架構的模態轉換生成結果。(a) LiTS CT圖像；(b) 轉換後的MR圖像。行顯示不同病患之切片 63 圖 4 9 原始CycleGAN加入感知損失的模態轉換生成結果。(a) LiTS CT圖像；(b) 轉換後的MR圖像。行顯示不同病患之切片 64 圖 4 10 本研究之改良CycleGAN的模態轉換生成結果。(a) LiTS CT圖像；(b) 轉換後的MR圖像。行顯示不同病患之切片 64 圖 4 11 本研究之模態轉換成效，圖解感知損失與語意一致損失的作用 65 圖 4 12 肝臟分割模型之表現結果佳的預測肝臟遮罩。第一行為Primovist MR影像，第二行為經主動輪廓模型修正後的真實遮罩，第三行為模型的預測肝臟遮罩。列表示不同病患切片 71 圖 4 13 肝臟分割模型之表現結果差的預測肝臟遮罩。第一行為Primovist MR影像，第二行為經主動輪廓模型修正後的真實遮罩，第三行為模型的預測肝臟遮罩。列表示不同病患切片 72 圖 4 14 腫瘤分割成效較差之病患 (連動第一階段肝臟分割之評估計算)。第一行為Primovist MR影像，第二行為經主動輪廓模型修正後的全肝真實遮罩，第三行為預測肝臟遮罩，第四行為預測腫瘤遮罩。列分別表示病患3及77之切片 76 圖 4 15 以真實肝臟遮罩進行ROI裁切之腫瘤分割成效 77 圖 4 16 肝臟與腫瘤分割之之表現結果佳的整合遮罩。第一行為Primovist MR影像，第二行為經主動輪廓模型修正後的真實遮罩，第三行為模型的預測遮罩。列表示不同病患切片 79 圖 4 17 肝臟與腫瘤分割之之表現結果差的整合遮罩。第一行為Primovist MR影像，第二行為經主動輪廓模型修正後的真實遮罩，第三行為模型的預測遮罩。列表示不同病患切片 80 圖 4 18 提取預測腫瘤遮罩之影像組學特徵所需的肝臟ROI (a) 與對應的腫瘤預測遮罩(b) 81 圖 4 19 腫瘤分類模型之混淆矩陣 (a) 與ROC曲線 (b) 83 圖 4 20 腫瘤分類模型的漏判案例，實際上該切片有腫瘤，卻預測為非腫瘤之切片。黃色區域表示預測肝臟遮罩，紅框標記腫瘤的位置 84 圖 4 21 IoU預測模型的預測迴歸線與實際值比較 86 圖 4 22 切片審查機制之實際案例分析切片流向 87 圖 4 23 以預測肝臟遮罩特徵訓練的腫瘤分割模型之混淆矩陣成效 (a)，以及偽陰性切片的流向統計分布 (b) 88 圖 4 24 切片審查機制漏判之切片案例 89 圖 4 25 以擴張預測肝臟遮罩特徵訓練的腫瘤分割模型之混淆矩陣成效 (a)，以及偽陰性切片的流向統計分布 (b) 90 圖 4 26 腫瘤分類模型之前20大變數重要性。上圖為變數重要性圖，下圖為各樣本之SHAP值圖 92 圖 4 27 IoU預測迴歸模型之前20大變數重要性。上圖為變數重要性圖，下圖為各樣本之SHAP值圖 93 表目錄 表 3 1 變數符號定義表 32 表 3 2 本研究之二階段式分割模型損失函數選擇 40 表 4 1 本研究之交叉驗證組合設定 55 表 4 2 不同訓練資料組合對腫瘤分割之評估指標 66 表 4 3 僅使用Primovist MR影像進行腫瘤分割之交叉驗證評估 67 表 4 4 加入模態轉換擴增資料影像進行腫瘤分割之交叉驗證評估 67 表 4 5 Primovist MR直接加入CT影像進行腫瘤分割之交叉驗證評估 68 表 4 6 肝臟分割於測試集病患上的評估指標 69 表 4 7 肝臟分割模型之交叉驗證評估 70 表 4 8 腫瘤分割於測試集病患上的評估指標 (視腫瘤分割模型為獨立架構之評估計算) 73 表 4 9 腫瘤分割模型之交叉驗證評估 (視腫瘤分割模型為獨立架構之評估計算) 74 表 4 10 腫瘤分割於測試集病患上的評估指標 (連動第一階段肝臟分割之評估計算) 75 表 4 11 腫瘤分割模型之交叉驗證評估 (連動第一階段肝臟分割之評估計算) 76 表 4 12 不同腫瘤分割方法之成效比較 78 表 4 13 使用不同遮罩提取特徵與不同迴歸模型的比較 85 " | |
| dc.language.iso | zh-TW | |
| dc.subject | 準確率預測 | zh_TW |
| dc.subject | 深度神經網路 | zh_TW |
| dc.subject | 肝臟分割 | zh_TW |
| dc.subject | 腫瘤分割 | zh_TW |
| dc.subject | 主動輪廓模型 | zh_TW |
| dc.subject | 模態轉換 | zh_TW |
| dc.subject | 資料擴增 | zh_TW |
| dc.subject | Liver/Tumor Segmentation | en |
| dc.subject | CycleGAN | en |
| dc.subject | Modality Transfer | en |
| dc.subject | Data Augmentation | en |
| dc.subject | Active Contour Model | en |
| dc.subject | Deep Neural Network | en |
| dc.subject | Imprecise Masks | en |
| dc.subject | Performance Prediction | en |
| dc.title | 結合模態轉換擴增資料及主動輪廓模型之卷積神經網路於醫學影像分割及其遮罩之準確率預測 | zh_TW |
| dc.title | Convolutional Neural Networks Combined with Modality Transfer Augmentation and Active Contour Model for Medical Image Segmentation and Its Performance Prediction | en |
| dc.date.schoolyear | 110-1 | |
| dc.description.degree | 碩士 | |
| dc.contributor.oralexamcommittee | 陳正剛(Jin-Cheng Fu),吳志宏(Kao-Hua Chang),何明志(Chia-Ho Wang) | |
| dc.subject.keyword | 深度神經網路,肝臟分割,腫瘤分割,主動輪廓模型,模態轉換,資料擴增,準確率預測, | zh_TW |
| dc.subject.keyword | Deep Neural Network,Liver/Tumor Segmentation,Imprecise Masks,Active Contour Model,Data Augmentation,Modality Transfer,CycleGAN,Performance Prediction, | en |
| dc.relation.page | 101 | |
| dc.identifier.doi | 10.6342/NTU202200502 | |
| dc.rights.note | 同意授權(限校園內公開) | |
| dc.date.accepted | 2022-02-13 | |
| dc.contributor.author-college | 工學院 | zh_TW |
| dc.contributor.author-dept | 工業工程學研究所 | zh_TW |
| dc.date.embargo-lift | 2027-02-14 | - |
| 顯示於系所單位： | 工業工程學研究所 | |
文件中的檔案：
| 檔案 | 大小 | 格式 | |
|---|---|---|---|
| U0001-1002202204555100.pdf 未授權公開取用 | 7.12 MB | Adobe PDF | 檢視/開啟 |
系統中的文件，除了特別指名其著作權條款之外，均受到著作權保護，並且保留所有的權利。