基於雲霧端架構之人工智慧服務延遲敏感任務卸載機制

Abstract

近年來，隨著影片分享需求的提升以及基礎網路設施的革新，加速了影音串流平台的普及化。不過這些平台並不能支援行車紀錄器，若可以及時地蒐集行車紀錄器的影像，我們便可以提供一些創新的應用服務，像是即時街景與停車格搜尋。而且，我們還可以搭配AI模型，對這些影像進行分析。若是能將AI服務部署在具有一定計算能力的車載裝置上，我們就可以在裝置上先進行初步的分析，並依據分析結果來決定是否要上傳到雲端，藉此來降低網路資源的消耗。不過，車機裝置會隨著時間移動，造成網路狀況不穩定，增加影像傳輸的時間，在這種情況下就比較適合先將一部份的影片分析工作放在車載裝置進行處理。然而受限於車載裝置的運算能力，當工作量太多時，每個影片進行分析的耗時可能會超過上傳到雲端進行處理的時間。因此，要如何依據不同的環境適當的分配雲端伺服器以及車載裝置的工作量，便是個關鍵的挑戰。我們觀察並分析可能影響AI服務時間的參數，並依據這些觀察，自行設計一套任務卸載算法。最後，我們實作了一個即時影像分析平台，提供多種AI服務，並搭配我們的任務卸載算法，能同時權衡網路狀態以及運算能力。在實驗結果中，我們的算法可以降低20-60\%的處理時間。