利用雲端服務和私人虛擬網路探索Twitch的影片傳遞架構

Abstract

隨著人們對於網路內容的需求日益上升，負責傳輸內容的內容傳遞網路也隨之變得更加重要。而去了解這樣的系統是如何運作的，也成為了一項重要的課題。在本研究中，我們設計出一個有辦法探索直播平台Twitch的影片傳遞架構的爬蟲系統，並藉此來分析Twitch的伺服器分布情況。透過分析封包，我們發現了Twitch用來導向用戶的負載平衡器Usher，並利用這個平衡機制作為我們爬蟲系統的依據。我們同時設計了一個演算法來取得Twitch的服務，且結合了平台數據後，成功設計出了一個能夠大規模探索Twitch內容傳遞網路的系統。和過往的研究比起來，我們不使用Planetlab作為部屬平台，相反的，我們利用了雲端服務平台和虛擬私人網路結合容器技術來達到大規模部屬的目的。這兩種爬蟲方式讓我們觀察到Twitch的伺服器多數集中在北美洲、歐洲、亞洲和大洋洲上的幾個集中的地理位置附近。我們也發現了Twitch傾向將用戶導向到地理位置上較為接近的伺服器做存取。最後，我們探討兩種不同的部屬平台中哪一個較為適合類似我們這種爬蟲目的選擇。