巨量資料分割技術與內容快速移動

Abstract

近年來各式行動裝置與嵌入式系統百花爭鳴, 網路與雲端運算議題的蓬勃發展, 讓與這些應用背後高度相關的資料數據也呈現巨幅成長。企業的資料空間儲存、處理效率議題也因此再度受到重視。自2004年起, Google提出MapReduce技術(http://research.google.com/archive/mapreduce.html), 緊接著在2006年又發表了BigTable (http://research.google.com/archive/bigtable.html ) 後, Google幾乎就等同於Big Data的代名詞, 透過將大量資料切割成數個小資料叢集(Cluster), 並搭配MapReduce的演算法計算查詢索引, 來提升資料查詢的效率。 此類的應用方式雖然帶來一項創新, 但主要應用範圍仍僅止於查詢。對於一般擁有大量交易性資料異動, 且定期或不定期進行不同層次的資料搬遷�移動需求的企業來說, 距離直覺式地應用MapReduce技術到自有的資料數據處理環境中, 仍有一大段距離。特別是金融業、高科技製造業這類通常須面對大量資料的企業, 在巨量的資料異動或移動, 伴隨而來的往往是系統的整體效能緩慢、服務暫時中斷, 資料存取的無效率和分秒必爭商機的損失。 本論文的目的在於以一確實可行的方式, 利用既有的資料數據庫儲存平台, 並加入Partition Table技術, 處理巨量資料的查詢和需要交易異動的需求, 同時解決資料移動時的緩慢效率問題, 提供理論說明與實作兼備的解決方案來改善以上問題。

Database storage storing abundant data usually accompanies slow performance of query and data manipulation. This thesis presents a model and methodology of faster query and data manipulation of mass data rows stored in a big table. In this thesis, it depicts the solution to manipulate large data sets of one table which moves into and out of another logical table with outstanding efficiency compared with traditional transactional way. With this idea, the table structure needs to be redesigned to accommodate and keep data, in other words, the table needs to be 'partitioned'. It also covers partitioning strategies which are applied to various scenarios such as the data sliding window scenario, data archiving, and partition consolidation and movement practice.