以渲染合成資料於飛機型號識別模型訓練

Abstract

衛星影像飛機型號識別在軍事與商業情報收集中扮演著重要角色，但高品質資料的收集卻面臨許多挑戰。本研究使用 Blender 3D 渲染軟體依照領域隨機化與領域自適應等理論，製作四種不同類型的合成資料。並將這些合成資料使用不同的資料量先行預訓練再使用真實影像參數微調，使用 ResNet-50 深度學習模型進行訓練。本研的目標在究探討合成資料的在飛機型號識別的表現與限制，並進一步了解不同合成資料製作方式與資料使用量對後續訓練結果的影響。研究結果顯示, 合成資料具有一定的效果。單獨使用合成資料進行訓練即可達到 60~70% 的準確率，結合真實資料進行參數微調後，準確率可進一步提升至 90% 以上。相較於僅使用真實資料的基線模型，此方法能提高 3~5% 的準確率。另一方面，本研究也發現合成資料使用存在一定限制。四種不同類型的合成資料在最終準確率上並無顯著差異，代表合成資料的處理方式可能不如預期重要。隨著合成資料量增加，準確率提升效果逐漸減弱，顯示單純增加合成資料量並不能持續提高模型的性能，也反映著真實資料的必要性。

Aircraft model recognition using satellite imagery is essential in military and commercial intelligence but faces challenges in acquiring high-quality data. This study uses Blender 3D to create four types of synthetic data, applying domain randomization and daptation theories. These datasets were used for pre-training at different volumes, followed by fine-tuning on real images with the ResNet-50 model. The aim is to assess synthetic data＇s effectiveness and limitations in aircraft recognition. Results show that synthetic data alone can achieve 60 ∼ 70% accuracy, and finetuning with real data boosts this to over 90%, outperforming a real-data-only baseline by 3 ∼ 5%. However, increasing synthetic data volume has diminishing returns, highlighting the essential role of real data.