MPEG-4多媒體應用程式CPU使用量管理工具之設計與實作

Abstract

MPEG-4是一種物件導向精神的多媒體標準，其特點在於能將各種多媒體材料以物件的方式整合在一起，在同一場景之中播放。除此之外，在場景之中也包含了一個應用層，可執行的程式碼即可透過此應用層嵌入於場景之中，並且在場景呈現的時候被MPEG-4 Application Engine執行。透過這樣的設計，設記者可以很容易的將場景設計成各式各樣的多媒體應用，如：互動遊戲、視訊會議、以及數位學習等等…。 MPEG-4場景中的應用層雖然爲多媒體應用增添了便利性，但是在計算資源的使用上仍有若干可能的問題： 資源上的限制 多媒體應用時常需要大量的計算，就MPEG-4場景為例，一個場景之中往往包含著多個視訊或音訊物件，同時播放這些媒體物件需要大量的計算，對於系統的計算資源產生很大的負荷。再加上行動裝置逐漸成為主流，而計算裝置的設計也漸漸的以輕薄短小為設計的準則，這些裝置執行多媒體應用時，計算能力不足的情況會更加明顯。因此有效的控制多媒體應用的資源使用量是有需要的。 適應系統環境的調整 MPEG-4的多媒體應用可能在各種不同的平台被執行，這些平台可能包含桌上型電腦、筆記型電腦、甚至手機等掌上型裝置。這些裝置的系統資源大不相同。甚至針對同樣的平台的兩個裝置，其計算環境也有相當大的差異。因此MPEG-4多媒體應用需要針對不同的環境以及可得的資源，作對應的調整，以達到最佳的效能。 視訊控制 在所有的媒體物件中，視訊的解碼和呈現是最消耗計算資源的程序之一。因此如果能夠妥善的控制視訊物件在這兩種程序上的資源使用情況，對於計算資源會有很大的幫助。 針對以上三個方向，本研究設計了MPEG-4 Resource Management System，提供三項工具： 資源監視工具 此工具包含了觀察靜態資源以及系統動態資源使用量。靜態資源包含了CPU能力、CPU個數、記憶體大小、網路能力等等…。動態資源使用量則包含了執行期間的CPU、記憶體、網路的使用量。 視訊解碼控制工具 這項工具能夠控制解碼程序的進行、停止、更換解碼器、以及調整視訊的播放速率和播放品質等…。 資源管理者(Resource Manager) 藉由以上兩種工具的協助，資源管理者會自動的依據目前計算資源的使用情況以及使用者對於資源使用的設定，對多媒體應用場景的播放情況進行調整，使得計算資源的使用能在一定的限制之內。 Resource Management System延伸了MPEG-PY System，使得MPEG-PY應用增添了資源監控以及視訊解碼控制的功能。而Resource Manager也提供了MPEG-PY應用自動的CPU使用量控制的能力。透過Resource Management System，資源控制將可以實做成MPEG-PY模組，而重複利用於不同的多媒體應用程式之上。

With the rapid hardware advance and the growth of broadband networks, MPEG-4 has become one of the most important international multimedia standards. Unlike the traditional frame-based multimedia standard, MPEG-4 had adopted the object-oriented methodology and integrates existing multimedia technologies, such as still images, 2D/3D graphics, animations, videos, audios, and virtual realities into its own architecture. In addition, MPEG-4 has incorporated a multimedia application platform. For this application platform, MPEG-4 has designed programmable interfaces for developers to create logical models to control different media objects. These interfaces support JavaScript and MPEG-J application interfaces, and enables easy development of all kinds of multimedia applications, such as games, E-learning, telecommunication, etc. Since a MPEG-4 multimedia application can contain a lot of media objects and interact with them, it can be very resource-consuming, resulting in poor runtime performance. This motivates a need for system functionality and mechanism to monitor and control the underlying computing resources in order to optimize the application performance. In addition, in most of media objects, audio and video operations are resource-intensive. Therefore, there is also the need to control the runtime components such as decoders and renderers which are responsible for audio and video presentations. In this thesis, I have designed and implemented a resource monitoring tool and a decoder/renderer adaptive control for MPEG-4 applications. In addition, I have created a CPU usage control model to coordinate different system resources for system-initiated adaptation. With these supports, MPEG-4 applications can achieve better resource efficiency and reach better performance.